[論文レビュー] Tagging Grammatical Functions

Thorsten Brants, Wojciech Skut+1 more|ArXiv.org|Jul 23, 1997

Natural Language Processing Techniques参考文献 9被引用数 35

ひとこと要約

本稿では、品詞タギング技術を拡張して文法的機能とフレーズカテゴリを割り当てる、ハイブリッドでインタラクティブなアプローチを提示する。手動でアノテートされたデータで訓練されたブートストラップ型確率的モデルを用いて、文法的機能タギングで94.2%、フレーズカテゴリタギングで95.4%の正確性を達成し、信頼性の低い予測を除外することで精度は99%以上に上昇する。

ABSTRACT

This paper addresses issues in automated treebank construction. We show how standard part-of-speech tagging techniques extend to the more general problem of structural annotation, especially for determining grammatical functions and syntactic categories. Annotation is viewed as an interactive process where manual and automatic processing alternate. Efficiency and accuracy results are presented. We also discuss further automation steps.

研究の動機と目的

• 大規模なドイツ語ツリークォーバンクにおける構文的アノテーションの効率性と正確性を向上させるために、自動処理と手動処理を統合すること。
• ドイツ語の自由な語順の課題に対処するため、LFG f-構造と従属構文論に基づいて理論に依存しない述語構造アノテーション方式を設計すること。
• リアルタイムでのグラフィカル編集と自動的一致性チェックを支援するインタラクティブなアノテーションツールを開発すること。
• アノテート済みデータで訓練されたブートストラップモデルを用いて、自動文法的機能およびフレーズカテゴリタギングの性能を評価すること。
• 自動タギングにおける主な誤り要因、例えば形態素的・構造的情報の不足を特定し、是正すること。

提案手法

• 初期の手動アノテーションで訓練された確率的タギングモデルを用い、その後新しいデータで繰り返し精錬するブートストラップアプローチを採用する。
• 信頼度の低い予測を抑制するための三段階の信頼性モデルを用い、再現率を犠牲にして正確性を向上させる。
• キーボードとマウスの二重入力方式を備えたグラフィカルアノテーションツールを設計し、構造の編集とラベル割り当てを効率的に行う。
• 語、フレーズ、エッジのタグセットを変数化・拡張可能に設計し、コーパスに保存することで柔軟な構成と再利用を可能にする。
• 周辺フレーズと価値情報の分析により文脈に応じた曖昧性解消を実施し、S/VPの誤認などの一般的な誤りを是正する。
• NM（数値成分）などの専用タグを導入することで、頻出だが文脈に依存する構造の曖昧性を解消する。

実験結果

リサーチクエスチョン

• RQ1 標準的な品詞タギング技術は、より複雑な文法的機能およびフレーズカテゴリアノテーションというタスクに効果的に拡張可能か？
• RQ2 自動タギングとインタラクティブな人間の監視を組み合わせることで、自由な語順言語におけるアノテーションの効率性と正確性はどのように向上するか？
• RQ3 自動文法的機能およびフレーズカテゴリ割り当てにおける主な誤り要因は何か。また、それらはどのように是正できるか？
• RQ4 限定的なアノテート済みデータで訓練されたブートストラップ型確率的モデルは、構文的アノテーションにおいてどれほど高い正確性を達成できるか？
• RQ5 信頼度に基づくフィルタリングは、自動構文タギングにおける正確性と再現率にどのように影響するか？

主な発見

• 自動タギングシステムは、文法的機能割り当てにおいて全体で94.2%の正確性を達成し、文では89%、前置詞句では98%の範囲で性能を示した。
• 信頼性の低い予測を除外することで、文法的機能タギングの正確性は92%から99%まで上昇し、信頼性フィルタリングの有効性が裏付けられた。
• フレーズカテゴリタギングは全体で95.4%の正確性を達成し、カテゴリ別に89%から99%の範囲で性能を示した。信頼度の低いケースを除外した場合、正確性は99%を超えた。
• フレーズカテゴリタギングで最も頻出する誤りはVPとSの混同であり、主に訓練データに不完全な文が含まれていたため、非限定形の動詞句が誤って分類されたことが原因である。
• APとNPの混同は、重複する文法的性質に起因しており、関連するNPの文脈に応じた分析を組み込むことで低減可能である。
• タグセットにおける形態素的および価値情報の不足が主な誤り要因であった。これは、より豊富なタグセットを導入する際には、データスパarsityを適応的粒度制御によって慎重に扱う必要があることを示唆している。