[論文レビュー] Unsupervised Dependency Parsing: Let's Use Supervised Parsers

Phong Ba Le, Willem Zuidema|arXiv (Cornell University)|Apr 18, 2015

Natural Language Processing Techniques参考文献 27被引用数 10

ひとこと要約

この論文では、教師あり依存解析モデルを再利用することで、教師なし依存解析を向上させる自己学習フレームワークである反復再順序付け（IR）を提案する。教師なしパーサーが生成する木を初期値として用い、現在の予測に基づいて学習された強力で高次の生成的再順序付け器を用いて反復的にそれを精緻化することで、WSJコーパスにおいて先行研究の最良手法よりも1.8%高いDDAを達成した。この際、単語埋め込みを用いて語彙的意味を活用した。

ABSTRACT

We present a self-training approach to unsupervised dependency parsing that reuses existing supervised and unsupervised parsing algorithms. Our approach, called `iterated reranking' (IR), starts with dependency trees generated by an unsupervised parser, and iteratively improves these trees using the richer probability models used in supervised parsing that are in turn trained on these trees. Our system achieves 1.8% accuracy higher than the state-of-the-part parser of Spitkovsky et al. (2013) on the WSJ corpus.

研究の動機と目的

• 教師ありと教師なし依存解析のギャップを埋めるために、教師ありパーサーを教師なし設定で再利用する。
• 単純な教師なしモデルが捉えきれない豊かな文脈的規則性と語彙的意味を組み込むことで、教師なし解析性能を向上させる。
• 手動でアノテートされたデータに依存しない実用的で反復的なフレームワークを開発する。
• ゴールドアノテーションが存在する状況で、大規模な条件付きコンテキストを持つ高次の生成的モデルが、単純なモデルを上回る性能を示すかどうかを評価する。

提案手法

• フレームワークは、教師なしパーサーが生成する依存木を初期値として始める。
• 各反復で、k番目のベストパーサー（例：MSTParser）が各文に対して複数の候補依存木を生成する。
• 高次の生成的再順序付け器、具体的には無限次の再帰的ニューラルネットワーク（IORNN）が、大きな木の断片を条件とする豊富で文脈に依存する確率モデルを用いてk番目のベスト木を再スコアリングする。
• 各文からスコアが最も高い木が選択され、再順序付け器の再訓練に用いられる。このプロセスは自己学習ループを形成する。
• 再順序付け器は、手動アノテーションを必要とせず、事前学習済みの単語埋め込みを初期化に用いることで語彙的意味を組み込む。
• 予測を段階的に精緻化することで、精度が向上する。この際、徐々に正確な確率モデルを用いる。

実験結果

リサーチクエスチョン

• RQ1 複雑で高次の特徴を持つ教師ありパーサーが、教師なし依存解析に効果的に再利用可能か。
• RQ2 単語埋め込みによる語彙的意味の組み込みが、教師なしパーサーの性能にどの程度寄与するか。
• RQ3 ゴールドアノテーションが存在しない状況で、大きな条件付きコンテキスト（無限次のモデル）を持つ生成的再順序付け器が、単純なモデルを上回る性能を示すか。
• RQ4 反復再順序付けフレームワークの性能は、初期の教師なしパーサーの品質にどの程度依存するか。

主な発見

• 提案された反復再順序付けシステムは、WSJコーパスにおいて、先行研究の最良手法よりも1.8%高いDDA（依存関係復元精度）を達成した。
• 無限次のモデルにより、遠く離れた文脈パターンを捉えることができたため、特に長距離依存（≥3語）の再現率とF1スコアが顕著に向上した。
• 内容語（名詞（NN, NNP, NNS）、動詞（VBD, VBZ, VBN, VBG）、形容詞（JJ, JJR））に対して性能向上が顕著に現れ、構文的・意味的規則性の効果的なモデリングが示された。
• フレームワークは初期パーサーの品質に強く依存していた。初期値が悪いと性能は制限を受けるが、より優れた教師なしパーサーを初期値として用いることでさらなる向上が可能だった。
• 単語埋め込みの使用により、手動で意味的アノテーションを必要とせず、希少語や未観測語形への一般化性能が向上した。
• 無限次のモデルは、単純なモデルと比較して、長距離依存をより優れた能力でモデル化できており、3語以上離れた依存関係の性能向上によってそれが裏付けられた。