[論文レビュー] Corpus Annotation for Parser Evaluation

John Carroll, Guido Minnen+1 more|ArXiv.org|Jul 8, 1999

Natural Language Processing Techniques参考文献 16被引用数 84

ひとこと要約

本稿では、句構造の波括弧による表記に依存する従来のParseval手法に代わる、構文解析器の評価を目的とした文法的関係に基づくコーパスアノテーション方式を提案する。この方式は、主に格助詞関係（主語、目的語、修飾語など）に注目し、構文解析器の信頼性と異なる文法フレームワーク間での互換性を向上させることを目的としている。10,000語の英語コーパスを用いた実験により、従来のParseval手法に比べてより信頼性が高く、さまざまな文法的枠組みとの適合性に優れた評価が可能であることが示された。

ABSTRACT

We describe a recently developed corpus annotation scheme for evaluating parsers that avoids shortcomings of current methods. The scheme encodes grammatical relations between heads and dependents, and has been used to mark up a new public-domain corpus of naturally occurring English text. We show how the corpus can be used to evaluate the accuracy of a robust parser, and relate the corpus to extant resources.

研究の動機と目的

• 句構造の波括弧による表記に依存する従来の解析器評価手法（例：Parseval）の限界を解決すること。特に、解析器出力とツリーバンクアノテーションの間で不適合が生じる問題を対処する。
• 正しいが構造が異なる解析結果に対して過剰にペナルティを与える問題、依存関係の処理が不十分である問題、非構成要素型解析器のサポートが不十分である問題を克服する。
• 文法的関係（例：主語、目的語、修飾語）に基づいた、言語や応用に依存しないアノテーション方式を構築し、多様な解析フレームワーク間で公平で信頼性の高い評価を可能にする。
• 10,000語の英語テキストを対象とした手動アノテーションを実施した、公開可能なコーパスを構築し、ロバスト解析器や統計的解析器の評価に活用する。
• 個々の文法的関係レベルでの正確度（precision）、再現度（recall）、Fスコアを測定することで、解析器の性能を細分化して分析可能とし、特定の文法的構造の改善に役立てる。

提案手法

• ヘッドと従属語の間の文法的関係に基づいた形式的アノテーション方式を定義。ヘッドおよび従属語のスロットには基本語形が入る。
• 各ヘッド-従属語ペairに関係タイプ（例：nsubj, iobj, clausal）を割り当て、関係タイプのラベルをオプションで付与。特定の関係については、耐障害性を高めるために明確さを緩和する。
• 解析器出力とコーパスアノテーションの両方を、依存関係スタイルの関係に変換。これにより、下位の構文的表現に依存せずに、異なるフレームワーク間での比較が可能になる。
• 評価指標として、関係レベルでの正確度、再現度、Fスコアを用いる。これにより、全体の正確性に加え、細分化された誤差分析も可能になる。
• 自然に発生した英語テキストから成る10,000語のコーパスに対して、一貫性はあるが柔軟なガイドラインに従って手動でアノテーションを実施。
• Fスコアおよび関係レベルのパフォーマンス指標を計算するための評価ソフトウェアを実装。さまざまな解析システムとの統合を支援する。

実験結果

リサーチクエスチョン

• RQ1 どのようにすれば、特定の文法的フレームワークやツリーバンク構造に依存しない、より信頼性の高い解析器評価が可能になるか？
• RQ2 依存関係に基づくアノテーション方式は、独立して開発された解析器とアノテートされたコーパスとの間で、どの程度互換性を向上させられるか？
• RQ3 文法的関係に基づく評価手法は、構造が異なるが正しい解析結果に対して過剰にペナルティを与えるのを回避しながら、解析器の正確性を効果的に測定できるか？
• RQ4 提案された方式は、特定の文法的構造の弱みを特定するための細分化された解析をどの程度支援できるか？
• RQ5 この評価手法は、1つのツリーバンク基準に一致させる必要なく、複数の言語や解析フレームワークに一般化可能か？

主な発見

• 提案された文法的関係に基づくアノテーション方式は、Parsevalの主な欠陥、特に解析器出力とツリーバンク構造の不適合性を効果的に回避した。
• この評価手法により、さまざまな文法的フレームワーク（依存関係スタイルの解析を出力するものも含む）を用いた解析器同士の信頼性の高い比較が可能になった。
• 10,000語のアノテート済み英語コーパスは、関係レベルのFスコアを用いたロバスト解析器や統計的解析器の評価に利用可能な公開リソースを提供する。
• この手法は、グローバルな指標（例：Fスコア）と細分化された診断の両方をサポートしており、開発者が解析器のパフォーマンスが弱い特定の関係タイプを特定できる。
• この方式は、正しいが構造が異なる解析結果に対して過剰にペナルティを与えるのを軽減しており、構文的波括弧による表記ではなく、意味的・文法的関係に焦点を当てているためである。
• 評価結果から、この手法はアノテーションのばらつきに対して耐性があり、解析器とコーパスが異なる構文的表現を使用している場合でも、意味のある比較を可能にすることが示された。