[論文レビュー] Modelling Sentence Pairs with Tree-structured Attentive Encoder

Yao Zhou, Cong Liu+1 more|arXiv (Cornell University)|Oct 10, 2016

Topic Modeling参考文献 22被引用数 16

ひとこと要約

本稿では、1つの文のRNNで符号化された表現を用いて、もう1つの文の木構造的符号化中に注目を誘導する仕組みを備えた、木構造的アテンションエンコーダーを提案する。Child-Sum Tree-LSTMおよびTree-GRUを用いて依存解析木に注目を統合することで、文の対モデリングを向上させ、SICK（意味的類似度）およびAI2-8grade（真偽質問選択）の2つのタスクで最先端性能を達成した。低n-gram被りケースにおける一般化性能の向上を伴い、注目を用いないベースラインを上回った。

ABSTRACT

We describe an attentive encoder that combines tree-structured recursive neural networks and sequential recurrent neural networks for modelling sentence pairs. Since existing attentive models exert attention on the sequential structure, we propose a way to incorporate attention into the tree topology. Specially, given a pair of sentences, our attentive encoder uses the representation of one sentence, which generated via an RNN, to guide the structural encoding of the other sentence on the dependency parse tree. We evaluate the proposed attentive encoder on three tasks: semantic similarity, paraphrase identification and true-false question selection. Experimental results show that our encoder outperforms all baselines and achieves state-of-the-art results on two tasks.

研究の動機と目的

• 順序付き注目メカニズムにとどまらない、木構造的ニューラルネットワークに注目を統合することで、文の対モデリングを改善すること。
• 符号化中に文の対を独立して扱う既存モデルの限界を克服し、構造的符号化中に相互文間注目を可能にする。
• 他の文の表現に基づいて、より関連性の高い部分木に動的に注目することで、再帰的ニューラルネットワークにおける意味的合成を強化すること。
• 意味的類似度、並記識別、質問選択といった多様な文の対タスクを、複数のベンチマークデータセットで評価すること。
• 木構造的モデルにおける注目が、特に低被りまたは複雑な文の対において、性能と一般化能力を向上させることを示すこと。

提案手法

• 本モデルは2段階のアーキテクチャを採用する：まず、各文を順序付きRNN（LSTMまたはGRU）で文脈的表現に符号化する。
• 次に、依存解析木からの再帰的構築に基づき、注目付きの木RNN（Tree-LSTMまたはTree-GRU）を用いて文の表現を構築する。この際、もう一方の文のRNN出力を注目クエリとして用いる。
• 注目重みは各内部ノードにおける子ノードの上に計算され、合成中に意味的に関連性の高い部分木に注目できる。
• 注目メカニズムは、クエリ（もう一方の文の表現）と各子の隠れ状態の間の適合関数によって実装される。
• 両方の木からの最終的な文表現は、文の対タスクにおける分類または回帰のための多層パーセプトロンに供給される。
• タスクに応じて交差エントロピー損失または平均二乗誤差損失を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 注目を木構造的再帰的ニューラルネットワークに効果的に統合することで、文の対モデリングが向上するか？
• RQ2 1つの文の表現を用いて、もう一方の文の構造的符号化を誘導することで、意味的類似度および並記識別タスクの性能が向上するか？
• RQ3 低n-gram被りの文の対において、注目付きの木RNNと注目なしの木RNNに比べて、本モデルの一般化性能はどのように異なるか？
• RQ4 本モデルは、複雑または低被りの文の対において、順序付きRNNや標準的な木RNNよりも、微妙な意味的関係をよりよく捉えられるか？
• RQ5 注目重みから、最終表現に最も寄与する構文的部分木は何かというインサイトが得られるか？

主な発見

• 提案された注目付き木エンコーダーは、意味的類似度タスクのSICKデータセットで最先端性能を達成し、すべての注目なしベースラインを上回った。
• 真偽質問選択タスクのAI2-8gradeデータセットでも、最先端の結果を達成し、誤りのある質問を識別する能力が優れていた。
• 低n-gram被りの文の対においても一般化性能が向上し、n-gram被りが40%未満の状況では、注目付きTree-GRUが標準的なTree-GRUを上回った。
• 注目可視化により、モデルが意味的に関連性の高い部分木に注目していることが明らかになった。例えば、「遊んでいる」という語の表現を構築する際、『男の子』に注目する傾向が強く、『屋外』にはそれほど注目しなかった。これは意味的な注目行動を示している。
• SICKデータセットにおけるピアソン相関スコアは文の長さが延びるにつれて低下するが、注目付き木エンコーダーは、文の長さが20トークンを超えると、標準的なSeq-RNNやTree-RNNよりも優れた性能を維持した。
• MSRPデータセットでは数値の並記を正しく特定できなかったため、数値的同等性を捉える能力に限界があることが示唆されたが、意味的類似度タスクでは優れた性能を示した。