[論文レビュー] Recognizing Implicit Discourse Relations via Repeated Reading: Neural Networks with Multi-Level Attention

Yang Liu, Sujian Li|arXiv (Cornell University)|Sep 20, 2016

Topic Modeling参考文献 26被引用数 8

ひとこと要約

この論文では、人間の繰り返し読書を模倣するために、段階的に特定の単語に注目する反復的アプローチを取る、マルチレベル注目を備えたニューラルネットワーク（NNMA）を提案する。双方向LSTM、マルチレベル注目、外部一時記憶を組み合わせることで、NNMAはPDTBデータセットで最先端の性能を達成し、動的な段階的特徴抽出によって従来手法を上回る。

ABSTRACT

Recognizing implicit discourse relations is a challenging but important task in the field of Natural Language Processing. For such a complex text processing task, different from previous studies, we argue that it is necessary to repeatedly read the arguments and dynamically exploit the efficient features useful for recognizing discourse relations. To mimic the repeated reading strategy, we propose the neural networks with multi-level attention (NNMA), combining the attention mechanism and external memories to gradually fix the attention on some specific words helpful to judging the discourse relations. Experiments on the PDTB dataset show that our proposed method achieves the state-of-art results. The visualization of the attention weights also illustrates the progress that our model observes the arguments on each level and progressively locates the important words.

研究の動機と目的

• 明示的な接続語が存在しない状況での暗黙的対話関係の認識という課題に取り組むこと。これはテキストの深層的・複数回の分析を要する。
• 単一パスの読解モデルでは、文脈依存的な微細な手がかりを動的に特定できないという問題を改善すること。
• 複数回の処理パスを通じて顕著な語に段階的に注目することで、人間の読書に類似した繰り返し読書を模倣すること。
• 外部記憶を用いて複数の注目レベル間で表現を保存・精錬することで、特徴抽出を強化すること。
• PDTBベンチマークにおける暗黙的対話関係分類で最先端の性能を達成すること。

提案手法

• モデルは双方向LSTMを用いて各議論要素を一般レベルで符号化し、グローバルな文脈表現を捉える。
• 複数の注目レベルを再帰的にスタックすることで繰り返し読書を模倣し、各レベルでキーワードへの注目を精錬する。
• 各注目レベルでソフト注目メカニズムが、議論要素のシーケンス全体に対して単語の重要度重みを計算し、関連するコンテンツを強調する。
• 外部一時記憶が以前のレベルからの情報を保持し、注目更新をガイドすることで、表現の段階的精錬を可能にする。
• 最高レベルの注目レベルから得られる最終表現を、ソフトマックス分類器を用いて対話関係に分類する。
• 全アーキテクチャはクロスエントロピー損失を用いてエンドツーエンドで訓練され、対話関係予測を最適化する。

実験結果

リサーチクエスチョン

• RQ1 繰り返し読書を模倣するニューラルネットワークアーキテクチャは、暗黙的対話関係認識の性能向上に寄与するか？
• RQ2 どの語やフレーズが暗黙的対話関係を予測する上で最も予測的であり、複数回の処理パスによって動的に特定可能か？
• RQ3 外部記憶の統合は、対話関係分類における特徴学習と注目集中をどのように向上させるか？
• RQ4 段階的精錬を伴うマルチレベル注目は、微細な対話的手がかりを捉える点で、単一パス注目メカニズムを上回るか？
• RQ5 注目可視化によって、モデルが意味的に重要な関係定義フレーズに注目するよう学習しているかどうかを確認できるか？

主な発見

• 提案されたNNMAモデルは、PDTBデータセットにおける暗黙的対話関係分類で最先端の性能を達成した。
• 注目重みの可視化により、モデルが段階的に一般的コンテンツから関係を定義するキーワードへと注目をシフトしていることが確認された。
• モデルは「expanding rapidly」と「sleazy image」のような重要な手がかりを、比較関係の識別に寄与するキーポイントとして正しく特定した。
• 外部一時記憶の使用により、複数の注目レベル間で効果的な知識保持が可能となり、表現品質が向上した。
• マルチレベル注目メカニズムは、単一パス注目よりも動的かつ反復的な重要度の精錬を可能にし、性能が優れている。
• 対話接続語が存在しない状況でも、文脈からの意味的手がかりに依存することで、暗黙の関係を効果的に同定する強靭性を示した。