[論文レビュー] Extracting Noun Phrases from Large-Scale Texts: A Hybrid Approach and Its Automatic Evaluation

Kuang‐Hua Chen, Hsin‐Hsi Chen|ArXiv.org|Jun 1, 1994

Natural Language Processing Techniques参考文献 7被引用数 11

ひとこと要約

本稿では、構文的成分の境界を特定する確率的チャンク化処理と、言語学的ルールで制御される有限状態機構を組み合わせることで、大規模テキストからの名詞句抽出のためのハイブリッド手法を提示する。SUSANNEコーパス上で評価された結果、統計的手法とルールベース手法を統合する有効性が示された。完全自動評価フレームワークにおいて、名詞句抽出の分野でその有効性が裏付けられた。

ABSTRACT

To acquire noun phrases from running texts is useful for many applications, such as word grouping,terminology indexing, etc. The reported literatures adopt pure probabilistic approach, or pure rule-based noun phrases grammar to tackle this problem. In this paper, we apply a probabilistic chunker to deciding the implicit boundaries of constituents and utilize the linguistic knowledge to extract the noun phrases by a finite state mechanism. The test texts are SUSANNE Corpus and the results are evaluated by comparing the parse field of SUSANNE Corpus automatically. The results of this preliminary experiment are encouraging.

研究の動機と目的

• 大規模な連続テキストからの名詞句抽出に有効な手法を開発すること。
• 純粋な確率的またはルールベースの手法の限界を補うために、両者の長所を統合すること。
• 言語学的知識と統計的境界検出を活用して、精度を向上させるシステムを設計すること。
• SUSANNEコーパスのパースフィールドをゴールドスタンダードとして、自動評価フレームワークを用いてアプローチを評価すること。
• ハイブリッドアーキテクチャが名詞句抽出において実現可能で効果的であることを示すこと。

提案手法

• 連続テキスト内の構文的成分の暗黙の境界を特定するために確率的チャンク化処理を用いる。
• 言語学的ルールを有限状態機構に埋め込んで、チャンク化出力から名詞句を特定・抽出する。
• 統計的境界検出とルールベースのフレーズ同定を統合することで、精度を向上させる。
• 本手法は、大規模で手動でアノテートされたテキストコレクションであるSUSANNEコーパスに適用された。
• システムの出力とSUSANNEコーパスのパースフィールドを直接比較することで評価が行われた。
• 出力の手動アノテーションを一切行わず、完全自動評価が可能である。

実験結果

リサーチクエスチョン

• RQ1 確率的チャンキングとルールベース解析を組み合わせたハイブリッド手法は、名詞句抽出の精度を向上させることができるか？
• RQ2 言語学的知識と統計的境界検出の統合が、抽出パフォーマンスにどのように影響するか？
• RQ3 SUSANNEコーパスのパースフィールドを用いた自動評価は、システム出力の妥当性をどの程度検証できるか？
• RQ4 提案手法は、純粋な確率的またはルールベースの手法を上回る性能を示すか？
• RQ5 ハイブリッドシステムは、大規模テキストコーパスに適用された場合にも、頑健で効果的であるか？

主な発見

• ハイブリッド手法は、確率的チャンキングとルールベース解析の長所を効果的に統合し、名詞句抽出に成功した。
• SUSANNEコーパスにおける予備評価において、前向きな結果が得られた。
• SUSANNEコーパスのパースフィールドを用いた自動評価は、パフォーマンス評価の信頼できるベンチマークを提供する。
• 言語学的知識の統合により、確率モデル単体では達成できない精度の向上が実現された。
• 結果から、統合的システムは、単一の確率的またはルールベースのアプローチとは異なり、実用的で効果的な代替手段であることが示唆された。
• 本手法は、最小限の手動介入で大規模な名詞句抽出が可能であることを示した。