[論文レビュー] A Linguistically Interpreted Corpus of German Newspaper Text

Wojciech Skut, Thorsten Brants+2 more|arXiv (Cornell University)|Jul 17, 1998

Natural Language Processing Techniques参考文献 5被引用数 50

ひとこと要約

本論文は、理論に依存しないデータ駆動型言語学的研究を可能にする、ドイツ語新聞テキストの言語的解釈付きコーパスを提示している。階層的で文法的構造に基づくアノテーション方式と、マークフ・モデルを用いた自動化ツールを用いることで、フレーズ構造認識の正確性が85–90％に達し、統計的NLPや相対節の外挿や語句の共起パターンといった現象に関するコーパスベースの研究を支援する。

ABSTRACT

In this paper, we report on the development of an annotation scheme and annotation tools for unrestricted German text. Our representation format is based on argument structure, but also permits the extraction of other kinds of representations. We discuss several methodological issues and the analysis of some phenomena. Additional focus is on the tools developed in our project and their applications.

研究の動機と目的

• 制限のないドイツ語テキストに対して一貫性があり、理論に依存しないアノテーション方式を開発し、データ駆動型言語学的研究を支援すること。
• 統計的NLPおよびコーパスベースの文法研究のための、大規模で言語的解釈が施されたドイツ語新聞テキストのコーパスを構築すること。
• 効率的かつ一貫性のある手動および準自動アノテーションを支援する、柔軟に適応可能なアノテーションツールを設計すること。
• 共通のテクトグラマティカル基盤から、理論特異的な表現（例：句構造、f-構造）を抽出できるようにすること。
• 品詞タギング、フレーズ区切り、共起抽出のための統計的モデルの学習の基盤を提供すること。

提案手法

• 語彙的子節別化、一致、意味的役割に基づく、ドイツ語新聞テキスト（Frankfurter Rundschau）のテクトグラマティカル構造へのアノテーション。
• 現象グラマティカル構造とテクトグラマティカル構造の両方の導出を可能にする、多層的で理論に依存しない表現形式の採用。
• 境界アノテーションからNPおよびPPの内部構造を自動的に推定するためのマークフ・モデルの実装により、85–90％の正確性を達成。
• 初期の手動アノテーションで学習した統計モデルを用いて、反復的に精度を向上させるブートストラップ手法の適用。
• 特定の句構造の例を検索するための検索プログラムの開発により、言語学的仮説の検証を支援。
• 熟語の柔軟な共起性を研究できるように、熟練に基づく解析を併せ持つデータベースにアノテートデータを格納。

実験結果

リサーチクエスチョン

• RQ1 制限のないドイツ語テキストの言語的解釈付きコーパスを、テクトグラマティカル構造に基づいて体系的にアノテートする方法は何か？ これにより、データ駆動型NLPがどのように支援されるか？
• RQ2 テクトグラマティカル構造は、他の文法的表現（例：句構造、f-構造）を導出するための理論に依存しない基盤として、どの程度有効に機能するか？
• RQ3 アノテート済みコーパスで学習した統計的モデルは、自動フレーズ構造認識において高い正確性を達成できるか？
• RQ4 コーパスベースの手法は、相対節の外挿や共起パターンといった文法的現象の調査を、どの程度支援できるか？
• RQ5 構造的アノテーションは、共起抽出や文法的制約モデルの正確性と信頼性に、どのような影響を与えるか？

主な発見

• コーパスには約12,000文が含まれており、一貫性と信頼性を確保するため、各文が2回ずつアノテートされている。
• テクトグラマティカル構造の使用により、句構造や他の理論特異的表現を高い忠実度で導出可能である。
• マークフ・モデルによるフレーズ区切り処理は、境界アノテーションからNPおよびPP構造を認識する際、85–90％の正確性を達成した。
• コーパスは相対節の外挿に関する統計的評価を成功裏に支援し、言語のパフォーマンス理論が予測する「重さ」と「距離」の効果を確認した。
• 文法的に事前処理されたコーパスは、頻度カウントの正確性を著しく向上させ、共起の文法的制約を自動的に導出可能にした。
• このコーパスは、統計的NLPシステムの学習およびコーパス言語学における理論的考察の両面で、貴重な資産となった。