[論文レビュー] Learning text representation using recurrent convolutional neural network with highway layers

Ying Wen, Weinan Zhang+2 more|arXiv (Cornell University)|Jun 22, 2016

Topic Modeling参考文献 15被引用数 49

ひとこと要約

本稿では、感情分析のためのテキスト表現を向上させるために、ハイウェイ層を再帰的畳み込みニューラルネットワークに統合したハイブリッドニューラルネットワーク、RCNN-HWを提案する。双方向RNNの出力からの特徴を畳み込み特徴抽出の前に選択的に精錬するためにハイウェイ層を用いることで、長文感情分類において、CNN、RNN、標準RCNNベースラインを上回る優れた性能を達成し、特に長文において顕著な向上を示す。

ABSTRACT

Recently, the rapid development of word embedding and neural networks has brought new inspiration to various NLP and IR tasks. In this paper, we describe a staged hybrid model combining Recurrent Convolutional Neural Networks (RCNN) with highway layers. The highway network module is incorporated in the middle takes the output of the bi-directional Recurrent Neural Network (Bi-RNN) module in the first stage and provides the Convolutional Neural Network (CNN) module in the last stage with the input. The experiment shows that our model outperforms common neural network models (CNN, RNN, Bi-RNN) on a sentiment analysis task. Besides, the analysis of how sequence length influences the RCNN with highway layers shows that our model could learn good representation for the long text.

研究の動機と目的

• 再帰的ネットワークと畳み込みネットワークの長所を組み合わせることで、自然言語処理タスクにおけるテキスト表現学習を向上させること。
• RNNが長距離依存関係を捉えることの制限と、CNNが窓サイズや局所的文脈に敏感であるという点を是正すること。
• ハイウェイ層が感情分析のための系列モデリングにおける特徴選択を向上させうるかを検証すること。
• 特に長文ドキュメントを対象として、入力系列長の変化に伴うモデル性能を評価すること。

提案手法

• モデルは段階的なアーキテクチャを採用する：双方向GRUが入力系列を処理し、前向きおよび後向きの文脈を捉える。
• 双方向GRUの出力は、1つ以上のハイウェイ層を通過する。ハイウェイ層は、特徴を部分的に通過または変換するための学習可能なゲートを適用する。
• ハイウェイ層はゲーティング機構を用いる：$ h_t = g_t \odot x_t + (1 - g_t) \odot \mathrm{tanh}(Wx_t + b) $、ここで $ g_t $ が特徴の流れを制御する。
• 変換された表現は、複数のフィルタを備えた1次元畳み込み層に供給され、局所的特徴が抽出される。
• 畳み込み特徴マップ全体に最大プーリングが適用され、固定長の文ベクトル表現が得られる。
• 最終的な表現は、ソフトマックスを用いた全結合層を介して感情分類に使用される。

実験結果

リサーチクエスチョン

• RQ1 RCNNにハイウェイ層を統合することで、感情分析のためのテキスト表現学習が向上するか？
• RQ2 RCNN-HWモデルは、標準のCNN、RNN、RCNNベースラインと比較して、感情分類タスクでどのように性能を発揮するか？
• RQ3 入力系列長がRCNN-HWの性能に与える影響は、他のニューラルネットワークアーキテクチャと比較してどうか？
• RQ4 ハイウェイ層は特徴選択を向上させ、長文表現におけるノイズを低減するか？

主な発見

• RCNN-HWは、CNN、RNN、Bi-RNN、標準RCNNをすべて上回り、テストされたすべてのモデルの中で最高の正確度を達成した。
• 1層または2層のハイウェイ層を備えたモデルが最良の性能を示したが、追加の層は性能向上に寄与せず、むしろ性能を低下させる可能性もあった。
• 1層のMLPはハイウェイ層ほど性能向上を示さなかったことから、ハイウェイ層のゲーティング機構が特徴選択においてより効果的であることが示された。
• RCNN-HWは、長文（例：系列長498）において顕著に優れた性能を発揮した。他のモデルは長さの増加に伴い性能が低下または頭打ちになるのに対し、RCNN-HWはその傾向を示さなかった。
• 他のモデルが誤分類する複雑な長文レビュー（例：498トークンのレビュー）を正しく分類できた。
• 分析結果から、RCNN-HWはCNNをRNNの前段に配置したモデルや単純なアーキテクチャと比較して、ノイズを低減し、長距離の文脈をより効果的に保持していることが確認された。