[論文レビュー] All Roads Lead to UD: Converting Stanford and Penn Parses to English Universal Dependencies with Multilayer Annotations

Siyao Peng, Amir Zeldes|arXiv (Cornell University)|Sep 2, 2019

Natural Language Processing Techniques参考文献 12被引用数 9

ひとこと要約

本稿では、英語のUniversal Dependencies (UD) 2.2に、gold-standard Stanford Typed Dependencies (SD) およびPennスタイルの構文木を変換する高精度なルールベース手法を提示する。コアファレンス、固有語認定、および議論構造を含むマルチレイヤーのアノテーションを用いることで、SDからUDへの変換は0.5%未満の誤り率を達成し、文構造木からの変換（~10%の誤り）に比べ顕著に優れている。これは、句の機能が不十分に指定されていることが原因である。

ABSTRACT

We describe and evaluate different approaches to the conversion of gold standard corpus data from Stanford Typed Dependencies (SD) and Penn-style constituent trees to the latest English Universal Dependencies representation (UD 2.2). Our results indicate that pure SD to UD conversion is highly accurate across multiple genres, resulting in around 1.5% errors, but can be improved further to fewer than 0.5% errors given access to annotations beyond the pure syntax tree, such as entity types and coreference resolution, which are necessary for correct generation of several UD relations. We show that constituent-based conversion using CoreNLP (with automatic NER) performs substantially worse in all genres, including when using gold constituent trees, primarily due to underspecification of phrasal grammatical functions.

研究の動機と目的

• gold-standard Stanford Typed Dependencies (SD) をUniversal Dependencies (UD) 2.2に変換する際の精度を評価すること。
• 高精度なUD変換を達成するために、構文木以上の追加アノテーションレイヤー（例：コアファレンス、固有語、議論構造）がどの程度必要かを特定すること。
• CoreNLP経由での構文木ベース変換とSDベース変換の誤り率および依存関係の質を比較すること。
• 8ジャンルにわたる85,000語以上のマルチレイヤーでアノテートされた英語UDコーパスを公開すること。

提案手法

• SDの依存関係をUD 2.2の関係にマッピングするルールベースの変換システム、DepEditを用い、トークンの性質と構文的関係に基づくカスタマイズ可能なルールを適用する。
• 事前に処理段階で、固有語、コアファレンス、議論構造（RST）、情報状態などの補足的アノテーションレイヤーを統合し、曖昧または希少なUD関係を解消する。
• 変換パイプラインには、外部アノテーションで拡張された構文木の前処理、ルールベースの変換、およびudapi APIを用いた標点の付加処理が含まれる。
• 各アノテーションレイヤーが変換精度に与える影響を評価し、誤り低減への各レイヤーの寄与を分離して分析する。
• 構文木ベースの変換については、gold構文木とCoreNLPによる自動解析木の両方を用い、解析品質が最終的なUD出力に与える影響を評価する。
• 最終的なUD出力をgold-standard UD 2.2と比較し、誤り率をトークン単位および関係タイプごとに測定する。

実験結果

リサーチクエスチョン

• RQ1 Stanford Typed Dependencies (SD) からUniversal Dependencies (UD) 2.2への純粋なルールベース変換の精度はどの程度か？
• RQ2 構文解析木を超える追加のアノテーションレイヤー（例：コアファレンス、固有語、議論構造）は、SD-to-UD変換でほぼ完璧な精度を達成するために必要か？
• RQ3 gold構文木を用いた場合でも、CoreNLP経由での構文木からUDへの変換は、SDからUDへの変換に比べて精度が劣るのか？
• RQ4 SD-to-UD変換と構文木からUDへの変換の間で、非プロジェクティブ依存関係にどのような差が生じるか。その原因は何か？
• RQ5 マルチレイヤーのアノテーションは、例え「呼称語」、「修正語」、「離脱語」のような希少なUD関係の検出と正しくラベル付けを改善できるか？

主な発見

• ルールベース手法による純粋なSD-to-UD変換では、複数のジャンルにわたり約1.5%の誤り率を達成した。
• コアファレンス、固有語、議論構造などの追加アノテーションレイヤーを統合することで、誤り率は0.5%未満に低下した。
• CoreNLPを用いた構文木からUDへの変換で、gold構文木を用いても、句の文法的機能が不十分に指定されていることが原因で約10%の誤り率が生じた。
• SD-to-UD変換では、元のSD（0.63%）やC2UD（0.29%）よりも非プロジェクティブ依存関係が多くなる（GUMでは0.79%）。これは、後向きに指向する並列接続詞（cc）が主な要因である。
• 英語Web構文木（EWT）V2.2の手動で修正されたUD版では、GUMのSD2UD版（0.79%）よりも非プロジェクティブ性が低く（0.46%）、ジャンルの違いやEWTに残存する不完全な指定が原因である可能性がある。
• 本研究では、UD関係「orphan」がSDではネイティブにサポートされていないことが判明し、正しくアノテートするには外部知識が必要であることが示され、現在の依存構造スキームにおけるギャップを浮き彫りにした。