[論文レビュー] New Methods, Current Trends and Software Infrastructure for NLP

Hamish Cunningham, Yorick Wilks+1 more|ArXiv.org|Jul 23, 1996

Natural Language Processing Techniques参考文献 7被引用数 20

ひとこと要約

この論文は、情報抽出を特に含め、テキスト処理における主要なニーズに応えるために設計された、自由に利用可能なソフトウェアインfra構造GATE（General Architecture for Text Engineering）を紹介する。このアーキテクチャは、モジュラーでデータベース駆動のものであり、TIPSTER や MULTEXT といった標準仕様と統合可能で、大規模コーパス、統計的手法、工学的実装手法の支援を強化したスケーラブルで評価可能かつ再利用可能な NLP システムを実現する。

ABSTRACT

The increasing use of `new methods' in NLP, which the NeMLaP conference series exemplifies, occurs in the context of a wider shift in the nature and concerns of the discipline. This paper begins with a short review of this context and significant trends in the field. The review motivates and leads to a set of requirements for support software of general utility for NLP research and development workers. A freely-available system designed to meet these requirements is described (called GATE - a General Architecture for Text Engineering). Information Extraction (IE), in the sense defined by the Message Understanding Conferences (ARPA \cite{Arp95}), is an NLP application in which many of the new methods have found a home (Hobbs \cite{Hob93}; Jacobs ed. \cite{Jac92}). An IE system based on GATE is also available for research purposes, and this is described. Lastly we review related work.

研究の動機と目的

• 統計的手法の増加、大規模コーパスの利用、工学的応用の拡大に伴い、NLP 分野における堅牢で再利用可能かつ評価可能なソフトウェアインfraの必要性に対応する。
• 以前のシステム（例：SGMLベースのモデルである MULTEXT や、データベースベースのモデルである TIPSTER）の限界を克服し、それらの長所を統合した、拡張性のある単一のアーキテクチャを提供する。
• 標準化されたモジュラーで拡張可能なソフトウェアコンポーネントを通じて、大規模かつ性能評価可能な NLP アプリケーション（特に情報抽出）を実現する。
• 実験的評価、再利用可能なリソース、NLP 開発における工学的厳密性を促進することで、玩具的な問題から現実世界のスケーラブルな NLP システムへの移行を支援する。

提案手法

• テキスト工学を対象とする汎用的でオブジェクト指向のソフトウェアアーキテクチャとして GATE を設計し、モジュラー処理パイプラインと拡張可能なアノテーションモデルをサポートする。
• TIPSTER のデータベース中心でアプリケーションに依存しないモデルと、MULTEXT の SGML ベースのアノテーションフレームワークを統合し、性能と相互運用性の両方を支援する。
• 永続的でクエリ可能なデータベースを用いてアノテーションとドキュメントメタデータを格納し、I/O の効率性、分散制御、アクセス制御を実現する。これにより、ファイルベースのシステムや SGML パースィングに依存するモデルに伴う I/O や表現のオーバーヘッドを克服する。
• 元来の出典や履歴に関するメタデータを含む、複数レベルの言語的および情報抽出アノテーション（例：固有表現、品詞）をサポートする標準化されたアノテーションモデルを定義する。
• 外部ツール（例：パーサー、IE システム）の統合を可能にする柔軟で拡張可能なフレームワークを実装し、読み取り専用および書き込み可能なドキュメントストレージの両方をサポートする。
• 既存の標準およびツール（例：SGML、TIPSTER、MULTEXT）を活用して互換性を確保し、再利用を促進する。また、異なる NLP フレームワーク間での相互運用性を実現するというビジョンを提示する。

実験結果

リサーチクエスチョン

• RQ1 統計的手法や大規模コーパスの利用が進む中で、多様な標準およびツールを統合する、統一的で拡張可能かつスケーラブルなソフトウェアインフラは、どのように NLP の研究開発を支援できるか？
• RQ2 特に情報抽出を対象とした大規模かつ性能評価可能な NLP アプリケーションを支えるために、どのようなアーキテクチャ的特徴が必要か？
• RQ3 SGML ベースのシステム（例：MULTEXT）とデータベースベースのシステム（例：TIPSTER）の限界を、ハイブリッドでモジュラーなアーキテクチャによってどのように克服できるか？
• RQ4 ソフトウェアインフラは、統計的手法や大規模コーパスを想定した文脈において、再利用性、相互運用性、工学的厳密性をどのように促進できるか？
• RQ5 1つのフレームワークが、情報抽出その他の NLP タスクにおけるアノテーションと処理の両方のニーズを満たしつつ、柔軟性と拡張性を保てるか？

主な発見

• GATE は、TIPSTER のデータベース効率性とアプリケーション非依存性と、MULTEXT の豊富なアノテーションモデルと SGML ベースの拡張性を統合することで、TIPSTER と MULTEXT の主要な側面を効果的に統合した。
• アノテーションを中央集権的で永続的なデータベースに格納することで、ファイルベースや SGML パースィングに依存するモデルと比較して、I/O オーバーヘッドを低減し、効率的でスケーラブルな処理を実現した。
• データベースメカニズムを活用して、複数レベルのアクセス制御と分散処理を実現し、SGML ベースのシステムがプロバンス管理やアクセス制御の面で抱える主な限界を克服した。
• 外部ツールとのシームレスな統合が可能であり、読み取り専用および書き込み可能なドキュメント処理の両方をサポートするため、アーカイブ処理やリアルタイム処理に適したシステムとなった。
• TIPSTER準拠のデータを SGML 形式で格納することで MULTEXT ツールで処理可能であり、逆に MULTEXT ツールで生成されたデータを TIPSTER で処理可能であるようにすることで、TIPSTER と MULTEXT 間の相互運用性を実現した。
• 実験的評価、再利用可能なコンポーネント、大規模な NLP システムの展開を可能にするなど、工学的視点に立った NLP への移行を支援するフレームワークを提供した。特に情報抽出分野において顕著な成果を上げた。