[論文レビュー] Unsupervised Latent Tree Induction with Deep Inside-Outside Recursive Autoencoders

Andrew Drozdov, Pat Verga+3 more|arXiv (Cornell University)|Apr 3, 2019

Natural Language Processing Techniques参考文献 32被引用数 26

ひとこと要約

DIORAは、深層inside-outside再帰的オートエノードによって、構文的木構造を誘導し、構成要素の分散表現を学習する完全に自己教師ありの深層学習手法を提案する。動的計画法を用いて各単語をその外側の文脈から再構成するオートエノード目的関数で生テキストを訓練することで、WSJおよびMultiNLIにおいて自己教師あり二分構文解析で最先端の性能を達成し、F1スコアはそれぞれ13.7%および11.5%の向上を達成した。

ABSTRACT

We introduce deep inside-outside recursive autoencoders (DIORA), a fully-unsupervised method for discovering syntax that simultaneously learns representations for constituents within the induced tree. Our approach predicts each word in an input sentence conditioned on the rest of the sentence and uses inside-outside dynamic programming to consider all possible binary trees over the sentence. At test time the CKY algorithm extracts the highest scoring parse. DIORA achieves a new state-of-the-art F1 in unsupervised binary constituency parsing (unlabeled) in two benchmark datasets, WSJ and MultiNLI.

研究の動機と目的

• ラベル付き学習データを一切必要としない、生テキストから構文的構造を完全に自己教師ありで発見する手法の開発。
• 誘導された解析木内での構文的構成要素（例：名詞句、動詞句）の意味的で意味のある分散表現の学習。
• 教師あり学習や複雑な後処理に依存する既存手法を超える、自己教師あり構文解析性能の向上。
• 生テキストからの学習のみで、ドメインや言語を越えて一般化できるモデルの構築。
• オートエノードとinside-outside動的計画法を組み合わせることで、言語の構文的・意味的規則性を効果的に捉えられるかの探求。

提案手法

• モデルは、動的計画法を用いて文内のすべての可能な二分木に対してinsideおよびoutsideパスを適用する深層inside-outside再帰的オートエノードアーキテクチャを採用する。
• insideパスは、学習された合成関数を用いて子ノードのベクトル表現を再帰的に親ノードの表現に合成する。
• outsideパスは、親ノードから各子ノードへ文脈を伝搬させ、内部ノード表現に外部構造的文脈を強化する。
• モデルはオートエノード目的関数で訓練され、入力単語をその直近の親ノードのoutside表現から再構成する。これはマスクされた言語モデルに類似している。
• 構成要素間の適合性関数はバックプロパゲーションによりエンドツーエンドで学習され、推論時にはCKYアルゴリズムを用いてスコアが最も高い解析木を抽出する。
• この手法は、構文的アノテーションを一切使用せず、生テキストとinside-outsideアルゴリズムのみに依存して構造誘導を実現する。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありの深層学習モデルは、ラベル付き学習データが一切ない生テキストから構文的木構造を効果的に発見できるか？
• RQ2 inside-outside動的計画法フレームワークは、深層オートエノードに効果的に統合可能で、木構造と構成要素表現の両方を学習できるか？
• RQ3 単語をその外側文脈から再構成する学習は、従来の自己教師あり解析手法よりも優れた構文的構造誘導をもたらすか？
• RQ4 モデルは、強力なベースラインを上回る意味的で一貫性のあるフレーズ表現を学習できるか？特に、チャンキング評価タスクでその有効性を示せるか？
• RQ5 モデルの性能は、ニューズリポート（WSJ）や自然言語推論（MultiNLI）データなど、異なるドメインにわたってどの程度一般化できるか？

主な発見

• DIORAは、句読点を含む全WSJデータセットでF1スコア85.4を達成し、これは従来の自己教師あり手法よりも13.7%の絶対的向上を示した。
• WSJ-40ベンチマークではF1が81.6を記録し、前回の最先端手法比で11.5%の絶対的向上を達成した。
• MultiNLIデータセットではF1が78.2を達成し、前回の最先端手法比で7.8%の絶対的向上を示した。
• 強力なベースラインモデルよりも高いセグメントリコールを示しており、誘導された木構造における構成要素スパンのカバー率が優れていることが示された。
• 学習されたフレーズ表現は意味的で、下流のチャンキング評価タスクで強力なベースラインを上回った。
• 定性的な分析から、DIORAはしばしばバイナリ化された正解解析に非常に近い構文解析木を生成しており、特に助詞や動詞の適切なグループ化が可能であることが分かった。