[論文レビュー] Universal Dependency Parsing with a General Transition-Based DAG Parser

Daniel Hershcovich, Omri Abend+1 more|arXiv (Cornell University)|Aug 28, 2018

Natural Language Processing Techniques参考文献 10被引用数 3

ひとこと要約

本稿では、UDツリーとグラフを統一的なUCCAに類似したDAG形式に変換することで、Universal Dependency解析に適応された一般化されたニューラル遷移ベースのDAGパーサーTUPAを提示する。この手法は、従来の評価で無視されてきた強化依存関係をパーサーのタスクの一部として効果的に学習でき、ポーランド語LFGテストセットで最大56.55%のF1を達成し、単一の統一モデルを用いた強化UD解析の最初の教師ありアプローチを示している。

ABSTRACT

This paper presents our experiments with applying TUPA to the CoNLL 2018 UD shared task. TUPA is a general neural transition-based DAG parser, which we use to present the first experiments on recovering enhanced dependencies as part of the general parsing task. TUPA was designed for parsing UCCA, a cross-linguistic semantic annotation scheme, exhibiting reentrancy, discontinuity and non-terminal nodes. By converting UD trees and graphs to a UCCA-like DAG format, we train TUPA almost without modification on the UD parsing task. The generic nature of our approach lends itself naturally to multitask learning. Our code is available at https://github.com/CoNLL-UD-2018/HUJI

研究の動機と目的

• 単一の汎用的ニューラル遷移ベースDAGパーサーを用いて、Universal Dependenciesのエンドツーエンド解析を可能にすること。
• ケース、コントロール、省略された述語などの強化依存関係を、後処理ではなくパーサーの自然な出力として解析プロセスに統合すること。
• 言語固有のヒューリスティクスに依存せず、データから強化依存関係を学習する可能性を検証すること。
• UCCAとUDのような言語的表現の間で共有される構造的特徴を活用することで、マルチタスク学習の可能性を検討すること。

提案手法

• UDの依存木とグラフを、UCCAを模倣した統一的DAG形式に変換し、中間ノードと主辞/リモートエッジを用いて句内構造的および意味的関係を表現する。
• UCCA用に当初設計された遷移ベースのニューラルパーサーTUPAを、最小限のアーキテクチャ変更で変換済みUDデータに直接学習させる。
• 強化依存関係をDAG内のリモートエッジとして表現し、パーサーが一般依存構造の一部としてそれらを学習できるようにする。
• UCCAとUDフォーマットの間で双方向変換プロトコルを用い、再帰的参照や不連続性などの言語的特徴を保持する。
• パーサー性能の向上を図るため、品詞タグ、固有表現認識（NER）、事前学習済み単語埋め込み（fastText）などの特徴を組み込む。
• 個々の特徴（NER、品詞タグ、埋め込み、リモートエッジ遷移）の寄与度を評価するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 UCCAデータで学習した汎用的ニューラルDAGパーサーを、最小限の変更でUniversal Dependency解析に効果的に適応できるか？
• RQ2 統一されたパーサー枠組みを用いて、データから強化依存関係をエンドツーエンドで学習できる範囲はどの程度か？
• RQ3 強化依存関係の導入がパーサー性能に与える影響は何か？ また、標準依存関係と併せて信頼性高く予測できるか？
• RQ4 NER、品詞タグ、事前学習済み埋め込みなどの外部特徴が、全体のパーサー精度に果たす寄与度は何か？

主な発見

• TUPAは競争力のあるLASスコアを達成し、英語EWTテストセットで72.10%のF1を記録し、UDPipeベースラインに近く、UDパーサーへの適応が効果的であることを示している。
• モデルは強化依存関係を自然な出力として学習でき、英語EWTテストセットで54.58%のF1を達成し、ポーランド語LFGコーパスでピーク56.55%のF1を記録した。
• NER特徴を除去しても性能低下はわずか（LAS-F1で0.28%低下）であり、NER特徴は有用ではあるが必須ではないことが示された。
• 品詞タグ特徴を除去すると性能が著しく低下（LAS-F1で2.87%低下）し、正確なパーサー性能の維持に品詞タグの重要性が浮き彫りになった。
• リモートエッジを除去すると、強化LAS-F1は0.00%にまで低下し、リモートエッジが強化依存関係予測に不可欠であることが確認された。
• 事前学習済み単語埋め込みはわずかに性能向上をもたらし、低リソース環境における語彙的・構文的パターンの捉え込みに役立つ可能性があることが示唆された。