[論文レビュー] Bidirectional Context-Aware Hierarchical Attention Network for Document Understanding

Jean-Baptiste Remy, Antoine J.‐P. Tixier+1 more|arXiv (Cornell University)|Aug 16, 2019

Topic Modeling参考文献 26被引用数 5

ひとこと要約

本稿では、文の上位文脈を考慮できるようにすることで、階層的アテンションネットワーク（HAN）を拡張するコンテキスト対応型階層的アテンションネットワーク（CAHAN）を提案する。双方向文書符号化とコンテキスト対応型文符号化を導入することで、文書表現を向上させ、計算コストの増加を最小限に抑えつつ、感情分析およびトピック分類タスクで優れた性能を達成する。

ABSTRACT

The Hierarchical Attention Network (HAN) has made great strides, but it suffers a major limitation: at level 1, each sentence is encoded in complete isolation. In this work, we propose and compare several modifications of HAN in which the sentence encoder is able to make context-aware attentional decisions (CAHAN). Furthermore, we propose a bidirectional document encoder that processes the document forwards and backwards, using the preceding and following sentences as context. Experiments on three large-scale sentiment and topic classification datasets show that the bidirectional version of CAHAN outperforms HAN everywhere, with only a modest increase in computation time. While results are promising, we expect the superiority of CAHAN to be even more evident on tasks requiring a deeper understanding of the input documents, such as abstractive summarization. Code is publicly available.

研究の動機と目的

• HANが文を孤立して符号化するため、周囲の文脈を活用できないという限界を解消すること。
• 前の文と後の文を考慮して文符号化器がアテンション意思決定を行うことで、文書表現を向上させること。
• 文書を前向きおよび後向きに処理する双方向文書符号化器を導入し、より豊かな文脈的依存関係を捉えること。
• 提案モデルを大規模な感情分析およびトピック分類データセットで評価し、HANを上回る性能を示すこと。
• 要約生成などのより深いテキスト理解を要するタスクにおけるCAHANの可能性を検討すること。

提案手法

• 文レベルのアテンションが文書から導出されたコンテキストベクトルに条件付けられるCAHAN-SUMおよびCAHAN-RNNの変種を提案する。
• 2つの独立したRNN（1つは前向き、もう1つは後向き）を用いた双方向文書符号化器を導入し、それぞれが相手の隠れ状態をコンテキストとして使用する。
• 文書の文表現に対して平均プーリング（CAHAN-SUM）または再帰的コンテキストモデリング（CAHAN-RNN）を適用してコンテキストベクトルを計算する。
• 文の上位特徴と文書レベルのコンテキストの両方を考慮する文符号化器に変更することで、コンテキスト対応型文符号化をHANフレームワークに統合する。
• 確率的勾配降下法（SGD）を用いてエンドツーエンドでモデルを学習し、コンテキスト対応型文符号化の後に文書レベルのアテンション機構を適用する。
• 文と文書の符号化器に共通のアーキテクチャを採用し、両者とも自己アテンション機構を備えた双方向RNNに基づく。

実験結果

リサーチクエスチョン

• RQ1 コンテキスト対応型文符号化は、階層的アテンションネットワークにおける文書表現を向上させることができるか？
• RQ2 双方向文書符号化は、分類タスクにおいて単方向または標準的なHANよりも優れた性能を発揮するか？
• RQ3 短い、単純な文書と長い、より複雑な文書の両方のデータセットにおいて、CAHANはどのように性能を発揮するか？
• RQ4 コンテキスト対応メカニズムは、文書内の多様なトピックのカバー率を向上させるとともに、冗長性をどれほど低減するか？
• RQ5 要約生成のような、より深いテキスト理解を要するタスクにおいて、CAHANの利点がより顕著に現れるか？

主な発見

• CAHANの双方向バージョンは、3つの感情分析およびトピック分類データセットすべてで元のHANを上回る性能を示した。
• CAHAN-SUMはHANよりも優れた性能を発揮し、特に文の繰り返しや重複する特徴へのアテンションを低減する点で優れている。
• モデルは、食事の質、サービス、価格といった多様なトピックのカバーを向上させ、繰り返しの否定的表現への過剰な注目を避けるようになった。
• 繰り返しの文がある場合、CAHANはHANが生成する重複した出力とは異なり、より多様で情報量の多い表現を生成する。
• CAHANが導入する計算コストの増加は限定的であり、実世界の展開においても実用的である。
• 著者らは、CAHANの利点が、より長い文書や要約生成のような、より深い理解を要するタスクにおいて顕著になるのではと仮説を立てている。