[論文レビュー] Do latent tree learning models identify meaningful structure in sentences?

Adina Williams, Andrew Drozdov+1 more|arXiv (Cornell University)|Sep 4, 2017

Natural Language Processing Techniques参考文献 30被引用数 7

ひとこと要約

この論文は、ニューラル文解析における隠れ木学習モデルが、意味的で文脈的に解釈可能な句構造を発見するかを調査している。文理解タスク（例：テキスト帰属関係）において従来のパーサーを上回る性能を示すが、モデルは一貫性のない、浅い、標準的でないパース戦略を学習しており、Penn Treebank文法や確立された文法的／意味的原則と一致しない。

ABSTRACT

Recent work on the problem of latent tree learning has made it possible to train neural networks that learn to both parse a sentence and use the resulting parse to interpret the sentence, all without exposure to ground-truth parse trees at training time. Surprisingly, these models often perform better at sentence understanding tasks than models that use parse trees from conventional parsers. This paper aims to investigate what these latent tree learning models learn. We replicate two such models in a shared codebase and find that (i) only one of these models outperforms conventional tree-structured models on sentence classification, (ii) its parsing strategies are not especially consistent across random restarts, (iii) the parses it produces tend to be shallower than standard Penn Treebank (PTB) parses, and (iv) they do not resemble those of PTB or any other semantic or syntactic formalism that the authors are aware of.

研究の動機と目的

• 隠れ木学習モデルが文において言語学的に意味のある構文的構造を発見するかを評価すること。
• これらのモデルが複数回のランダム初期化において一貫性があり、解釈可能なパース戦略を学習するかを比較すること。
• 誘導されたパースがPenn Treebank (PTB)文法のような標準的な文法形式にどれほど近いかを評価すること。
• これらのモデルが文理解タスクで成功を収める理由が、原理的で構文的構造にあるのか、あるいは代替的なメカニズムにあるのかを調査すること。
• これらの発見が、将来のニューラル文符号化アーキテクチャの設計に与えるインパクトを検討すること。

提案手法

• ST-Gumbel (Choi et al., 2018) および RL-SPINN (Yogatama et al., 2017) の2つの最先端の隠れ木学習モデルを、直接比較可能な共有コードベースに再実装した。
• SNLIおよびMultiNLIデータセット上で、文の帰属関係タスクに特化したエンドツーエンド学習を実施し、真の構文解析の教師信号を一切使用しない。
• 下流の文分類タスク（MultiNLI、SNLI）におけるモデル性能を定量的に評価するとともに、パース構造について定性的に評価した。
• 誘導されたパースツリーの定性的分析を実施し、PTBスタイルのパースと比較し、構成要素の解釈可能性を評価した。
• 複数回のランダム初期化による一貫性チェックを実施し、学習されたパース戦略の安定性を評価した。
• 助詞、修飾語、構文的構成要素に対するパース行動を分析し、異常や非標準的構造を検出するための分析を行った。

実験結果

リサーチクエスチョン

• RQ1 隠れ木学習モデルは、重み初期化のランダムな変化に対しても一貫したパース戦略を生成するか？
• RQ2 誘導されたパースツリーは、Penn Treebank (PTB)文法のような標準的な文法形式にどの程度類似しているか？
• RQ3 これらのモデルが特定する構成要素は解釈可能で意味的に整合性があるのか、それとも異常または意味のない単位を形成しているのか？
• RQ4 非標準的なパース行動を示すにもかかわらず、これらのモデルが文理解タスクで従来のパーサーを上回る理由は何か？
• RQ5 これらのモデルが言語学的に妥当な構文を学習しないまま、強力なパフォーマンスを達成できる構造的・構成的特徴は何か？

主な発見

• ST-Gumbelモデルのみが、特にMultiNLIおよびSNLIにおいて、従来の木構造モデルを上回る性能を示した。
• ST-Gumbelモデルは、ランダム初期化の繰り返しにおいて、助詞や修飾語の処理に関して顕著な不一致を示した。
• ST-Gumbelが誘導したパースは、標準的なPenn Treebank (PTB)パースと比較して顕著に浅く、階層レベルが少なかった。
• ST-Gumbelが生成した多くの構成要素（例：'we briefly' や 'the students acted with'）は意味的に異常であり、整合的な意味単位とは見なせなかった。
• RL-SPINNモデルは、非常に一貫性があり、単純な左枝構造のパース戦略を採用していたが、依然として言語学的に意味のある構造を生成できなかった。
• 非標準的かつ一貫性のないパース行動を示すにもかかわらず、両モデルとも文理解タスクで強力なパフォーマンスを達成しており、原理的で構文的構造が効果的な表現学習に不可欠であるとは限らない可能性を示唆している。