[論文レビュー] Sentence Ordering and Coherence Modeling using Recurrent Neural Networks

Lajanugen Logeswaran, Honglak Lee+1 more|arXiv (Cornell University)|Nov 8, 2016

Topic Modeling被引用数 59

ひとこと要約

本稿では、文のセットエンコーダーとポ인터ネットワークを用いて一貫性のある文の順序を予測する、エンドツーエンドで教師なしのRNNベースのセットからシーケンスへのモデルを提案する。このモデルは、順序判別および科学的要約の順序付けタスクで最先端の性能を達成し、文の類似度やパラフレーズ検出においても事前学習手法に匹敵する高レベルの記述的表現を学習する。

ABSTRACT

Modeling the structure of coherent texts is a key NLP problem. The task of coherently organizing a given set of sentences has been commonly used to build and evaluate models that understand such structure. We propose an end-to-end unsupervised deep learning approach based on the set-to-sequence framework to address this problem. Our model strongly outperforms prior methods in the order discrimination task and a novel task of ordering abstracts from scientific articles. Furthermore, our work shows that useful text representations can be obtained by learning to order sentences. Visualizing the learned sentence representations shows that the model captures high-level logical structure in paragraphs. Our representations perform comparably to state-of-the-art pre-training methods on sentence similarity and paraphrase detection tasks.

研究の動機と目的

• 手動で設計された言語的特徴に依存せずに、一貫性のある文の順序を再構成できるエンドツーエンドで教師なしの深層学習モデルを開発すること。
• 文の順序付けを学習することで、下流のNLPタスクに有用な汎用的な文表現が得られるかどうかを調査すること。
• 順序予測を通じて、一貫したテキスト内の論理的・トピック的流れといった高レベルの記述的構造をモデル化すること。
• 標準的な順序判別ベンチマークを越えて、科学的論文の要約の順序付けといった新規で挑戦的なタスクにおいてモデルを評価すること。

提案手法

• 入力文から文埋め込みを生成するために、単語レベルのRNNエンコーダーを用いる。
• 文のセットエンコーダーRNNを用い、文埋め込みに段階的に注目することで文脈表現を構築する。
• 文脈表現で初期化されたポインタネットワークデコーダーを用い、一貫性のある順序で文を逐次予測する。
• モデルが無順序な文の集合を一貫性のある順序にマッピングするセットからシーケンスのフレームワークを採用する。
• 勾配に基づく重要度分析を用いて、モデルが順序決定にどの語句やフレーズに注目しているかを解釈する。
• 前向きおよび後向きの順序付けモデルの文表現を連結することで、意味的質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンドのRNNモデルは、手動で設計された言語的特徴に依存せずに、一貫性のある文の順序付けを学習できるか？
• RQ2 文の順序付けというタスクは、汎用的な文表現を学習するための有用な自己教師あり目的となるか？
• RQ3 モデルは、トピックの進行やエンティティの中心性といった高レベルの記述的構造をどの程度捉えることができるか？
• RQ4 学習された文表現は、下流の意味的タスクにおいて最先端の事前学習手法と比較してどの程度の性能を示すか？

主な発見

• 本モデルは、2つのベンチマーク順序判別データセットで最先端の性能を達成し、古典的および最近のデータ駆動型ベースラインを上回った。
• 科学的論文の要約を順序付けるという新規なタスクにおいて、先行研究を著しく上回り、現実のテキスト構造への強い一般化能力を示した。
• 学習された表現の可視化から、モデルが明示的な監視なしに、トピックの進行やエンティティの一貫性といった高レベルの記述的構造を捉えていることが明らかになった。
• モデルの文表現は、文の類似度やパラフレーズ検出タスクにおいて、skip-thoughtなどの無教師事前学習手法の結果と同等の性能を示した。
• 勾配の重要度分析から、モデルは「まず」「第二」といった記述的マーカーや「我々は提示する」といった構造的フレーズに注目していることが分かった。これは、センター理論や一貫性原理と整合的である。
• モデルの表現をbag-of-wordsとskip-thoughtの特徴と組み合わせることで、さらに性能が向上した。これは、補完的な意味的信号が存在することを示している。