[論文レビュー] Learning to parse from a semantic objective: It works. Is it syntax?

Adina Williams, Andrew Drozdov+1 more|arXiv (Cornell University)|Sep 4, 2017

Natural Language Processing Techniques参考文献 25被引用数 12

ひとこと要約

この論文は、意味的目的を用いて文を解析するように訓練されたニューラルモデルが、意味的な構文を学習するかを調査する。文の分類タスクでは従来のパーサーを上回るが、モデルが出力する解析構造は浅く、一貫性がなく、標準的な句構造的または意味的形式的体系と一致しない。

ABSTRACT

Recent work on the problem of latent tree learning has made it possible to train neural networks that learn to both parse a sentence and use the resulting parse to interpret the sentence, all without exposure to ground-truth parse trees at training time. Surprisingly, these models often perform better at sentence understanding tasks than models that use parse trees from conventional parsers. This paper aims to investigate what these latent tree learning models learn. We replicate two such models in a shared codebase and find that (i) only one of these models outperforms conventional tree-structured models on sentence classification, (ii) its parsing strategies are not especially consistent across random restarts, (iii) the parses it produces tend to be shallower than standard Penn Treebank (PTB) parses, and (iv) they do not resemble those of PTB or any other semantic or syntactic formalism that the authors are aware of.

研究の動機と目的

• ゴールの解析木が与えられていない状態で、潜在的木構造学習モデルが意味的な構文構造を学習するかを調査すること。
• このようなモデルの性能を、文の分類タスクにおける従来の木構造モデルと比較すること。
• これらのモデルが複数回のランダム初期化の繰り返しにおいて、生成する解析構造の整合性および構造的性質を分析すること。
• 学習された解析構造が、Penn Treebank解析など既知の句構造的または意味的形式的体系に類似しているかを評価すること。

提案手法

• 直接比較を可能にするために、2つの最先端の潜在的木構造学習モデルを共通のコードベースで再現した。
• トレーニング中にゴールスタンダードの解析木にアクセスせずに、意味的目的を用いてモデルをエンドツーエンドで訓練した。
• 下流の理解タスクへの有用性を評価するため、文の分類タスクでモデルの性能を評価した。
• 複数回のランダム重み初期化およびトレーニング実行における解析構造の整合性を分析した。
• 生成された解析の深さと構造を、標準的なPenn Treebank (PTB) 解析と比較した。
• 学習された解析が、既知の句構造的または意味的形式的体系に類似しているかを評価した。

実験結果

リサーチクエスチョン

• RQ1 意味的目的を用いて訓練されたモデルは、構文的に意味のある解析構造を学習するか？
• RQ2 これらのモデルが生成する解析は、標準的なPenn Treebank解析と比較して深さと構造的特徴でどのように異なるか？
• RQ3 これらのモデルの解析戦略は、異なるランダム重み初期化の間で一貫しているか？
• RQ4 学習された解析は、既知の意味的または構文的形式的体系と一致するか？
• RQ5 明示的な構文的監視が欠如しているにもかかわらず、これらのモデルが文の分類タスクで従来のパーサーを上回る理由は何か？

主な発見

• 再現した2つのモデルのうち、1つだけが文の分類タスクで従来の木構造モデルを上回った。
• 最も優れた性能を示したモデルは、ランダム再起動のたびに一貫性のない解析戦略を示しており、学習の不安定性を示している。
• 最も優れた性能を示したモデルが生成する解析は、標準的なPenn Treebank解析と比べて顕著に浅かった。
• 学習された解析の構造は、PTBや他の確立されたフレームワークを含め、いかなる既知の句構造的または意味的形式的体系とも類似していなかった。
• 明示的な構文的監視が欠如しているにもかかわらず、モデルは文理解タスクで強力な性能を示しており、これは間接的または非構文的表現を学習している可能性を示唆している。