[論文レビュー] The TreeBanker: a Tool for Supervised Training of Parsed Corpora

David Carter|ArXiv.org|May 7, 1997

Natural Language Processing Techniques参考文献 13被引用数 15

ひとこと要約

TreeBankerは、構文的・意味的解析の判別的性質を判断することで、言語理解システムにおけるあいまいさ解消の訓練を、言語学的専門知識のないユーザーが効率的に行えるグラフィカルツールである。20,000文のコーパスのアノテーション時間を約3週間に短縮し、専門家の関与を最小限に抑えながら、1時間に170文の速度で処理を達成する。また、Core Language Engine（CLE）のドメインカスタマイズを支援する。

ABSTRACT

I describe the TreeBanker, a graphical tool for the supervised training involved in domain customization of the disambiguation component of a speech- or language-understanding system. The TreeBanker presents a user, who need not be a system expert, with a range of properties that distinguish competing analyses for an utterance and that are relatively easy to judge. This allows training on a corpus to be completed in far less time, and with far less expertise, than would be needed if analyses were inspected directly: it becomes possible for a corpus of about 20,000 sentences of the complexity of those in the ATIS corpus to be judged in around three weeks of work by a linguistically aware non-expert.

研究の動機と目的

• スプีーチおよび言語理解システムにおけるあいまいさ解消コンponentの訓練に要する時間と専門知識を削減すること。
• 非専門家ユーザーが、複雑な言語学的解析ではなく、容易に解釈可能な性質に注目することで、教師あり訓練を可能にすること。
• ATIS や NAB のような新しいアプリケーションドメインからのコーパスを用いて、Core Language Engine（CLE）のドメインカスタマイズを支援すること。
• 言語的解析から判別的特徴を自動抽出・利用することで、専門家の干渉に依存しないようにすること。
• 複数の言語やドメインにわたるあいまいさ解消システムの訓練にスケーラブルかつ再利用可能なフレームワークを提供すること。

提案手法

• TreeBankerは、QLF（Quasi-Logical Forms）とその関連する構文木から、語の意味の選択、修飾語の付加位置、限定詞の範囲といった判別的性質を抽出する。
• これらの性質を、ユーザーが完全な形式的体系を理解しなくても、直感的に判断できるユーザーフレンドリーなグラフィカルインターフェースで提示する。
• システムは元のQLFを保存せず、性質とユーザーの判断のみを保存するため、効率的なデータ管理と再利用が可能になる。
• 同一のPOSシーケンスを持つ文同士で判断を伝搬させることで、類似パターンの重複解析を回避し、アノテーション作業の負担を軽減する。
• 異常な判別的値を持つ文を特定するエラーディテクション機能を備え、専門家のレビューを支援する。
• CLEと統合されており、文のリアルタイムテストや、文法開発中の解析出力の可視化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 非専門家ユーザーが、完全な構文的・意味的解析ではなく、判別的性質のセットに注目することで、言語的あいまいさ解消を信頼性を持って判断できるか？
• RQ2 従来の手動解析と比較して、性質ベースのインターフェースを用いることで、解析済みコーパスのアノテーション時間をどの程度短縮できるか？
• RQ3 TreeBankerは、高品質なあいまいさ解消訓練データを維持しつつ、専門家の関与を最小限に抑えるのにどの程度効果的か？
• RQ4 ATIS や NAB、スウェーデン語、フランス語のような異なるドメインや言語に、このシステムを一般化できるか？
• RQ5 文脈に依存しない性質を用いることで、現実世界のドメインにおけるあいまいさ解消性能にどのような影響が生じるか？

主な発見

• 言語学的知識を持つ非専門家は、数日間の練習を経て、1時間に約40文を判断できるようになり、経験を積むと170文/時間にまで向上する。
• ATISと同等の複雑さの20,000文のコーパスは、TreeBankerを用いることで約3人週間でアノテート可能であり、従来の方法に比べて著しく高速である。
• 専門家の関与は、全文の1％未満にまで削減され、主にエッジケースや品質確認のためのものに限られる。
• 同一のPOSシーケンスを持つ文同士で判断を伝搬させることで、類似パターンの重複解析を回避し、アノテーション作業の負担が軽減される。
• TreeBankerのアプローチは、文脈に依存しない性質を用いても効果的である。ATIS や類似ドメインでは、文脈的あいまいさがしばしば固定されるためである。
• このツールは、スウェーデン語やフランス語を含む複数の言語に成功裏に適用されており、英語に限らない汎用性を示している。