[論文レビュー] FASTUS: A Cascaded Finite-State Transducer for Extracting Information from Natural-Language Text

Jerry R. Hobbs, Douglas E. Appelt+5 more|ArXiv.org|May 20, 1997

Natural Language Processing Techniques参考文献 11被引用数 255

ひとこと要約

FASTUS は、名前認識、フレーズ検出、複雑構造形成、イベントパターン一致、イベント統合の五つの順次処理段階を適用することで、自然言語テキストから構造化された情報を抽出する段階的有限状態トランスダーサー・システムであり、特にテロリズムおよびビジネスニュース報道の MUC 評価において、高い効率性と有効性を発揮した。

ABSTRACT

FASTUS is a system for extracting information from natural language text for entry into a database and for other applications. It works essentially as a cascaded, nondeterministic finite-state automaton. There are five stages in the operation of FASTUS. In Stage 1, names and other fixed form expressions are recognized. In Stage 2, basic noun groups, verb groups, and prepositions and some other particles are recognized. In Stage 3, certain complex noun groups and verb groups are constructed. Patterns for events of interest are identified in Stage 4 and corresponding ``event structures'' are built. In Stage 5, distinct event structures that describe the same event are identified and merged, and these are used in generating database entries. This decomposition of language processing enables the system to do exactly the right amount of domain-independent syntax, so that domain-dependent semantic and pragmatic processing can be applied to the right larger-scale structures. FASTUS is very efficient and effective, and has been used successfully in a number of applications.

研究の動機と目的

• 構造化されたデータを非構造化された自然言語テキストから抽出し、データベースに登録するためのスケーラブルで効率的なシステムの設計。
• ニュース記事や軍事メッセージなどの多様なテキストタイプから、具体的なイベントレベルの情報（実行者、被害者、時期、場所など）を抽出する課題に対処すること。
• 深層的言語解析への依存を最小限に抑えるために、ドメインに依存しない句構造に焦点を当て、適切な抽象化レベルでの実用的および意味的処理を可能にすること。
• FastSpec と呼ばれる宣言的記述言語を用いて、新しいドメインやアプリケーション向けの情報抽出ルールの迅速な開発と適合を可能にする。

提案手法

• 本システムは五つの段階の連鎖を用いる：(1) 名前付きエンティティおよび固定表現の認識、(2) 基本名詞句、動詞句、助詞の特定、(3) 複雑な名詞句および動詞句の構築、(4) イベントパターンの検出とイベント構造の作成、(5) 重複するイベント構造の統合。
• 各段階では、パターン照合と複合言語的構造の構築に非決定的有限状態トランスダーサーを用い、一つの段階の出力が次の段階の入力として使用される。
• アーキテクチャは、すべての言語が名詞的・動詞的・助詞的要素の区別、および基本的・複雑なフレーズの区別を有するという言語的原則に基づいている。
• 非専門家が正規文法に属性条件とオブジェクトへの属性設定を組み合わせたもので、抽出ルールを定義できるようにする、FastSpec と呼ばれる宣言的記述言語が開発された。
• 本システムは、複数のアプリケーションに適応され、軍事メッセージ処理（Warbreaker）、法的文書分析、MUC 評価への応用があり、Tipster アーキテクチャなどの大規模システムにも統合された。
• このアプローチにより、入力テキストを抽出データに直接リンクすることで、完全なテキスト理解の必要を最小限に抑え、実行時の高速性と迅速な開発が可能になった。

実験結果

リサーチクエスチョン

• RQ1 段階的有限状態アーキテクチャは、完全な句構造解析や意味解析を必要とせずに、多様な自然言語テキストから構造化された情報を効果的に抽出できるか？
• RQ2 ドメインに依存しない句構造処理をどの程度活用することで、情報抽出におけるドメイン固有の意味的および実用的処理を可能にできるか？
• RQ3 深層的言語学的専門知識を要しないで、新しいドメイン向けのルールの迅速な開発と適合を可能にするシステムは、どのように設計できるか？
• RQ4 MUC のような現実世界の評価環境（メッセージ理解会議）において、このようなシステムのパフォーマンスはいかがなものか？
• RQ5 有限状態技術は、ビジネスニュースからの合弁事業の詳細やテロ事件レポートからの抽出といった、複雑なタスクに対しても効果的に利用可能か？

主な発見

• FASTUS は MUC-3 および MUC-4 評価で高いパフォーマンスを発揮し、ニュース記事および軍事メッセージから高精度かつ高再現率で情報を抽出した。
• システムは非常に高速な実行時パフォーマンスを示し、迅速な開発と展開を可能にした。これは、有限状態的かつ段階的なアーキテクチャに起因する。
• 宣言的記述言語（FastSpec）の使用により、開発時間が著しく短縮され、非専門家が抽出ルールを定義できるようになり、システムの利用可能性が向上した。
• FASTUS は、軍事メッセージ処理のための Warbreaker システムや、法的整合性チェックのための文書分析ツールなど、複数の現実世界のアプリケーションに成功裏に導入された。
• 長文や話法的構造を含む複雑なテキストを処理する際、必要な句構造レベルに焦点を当てることで、多くの言語的複雑さを回避し、効果的に処理できた。
• このアプローチにより、深層的言語解析が不要な場合に、適切な句構造処理レベルを適用すれば、多くの情報抽出タスクは従来の想定よりも単純であることが示された。