[論文レビュー] Outilex, plate-forme logicielle de traitement de textes écrits

Olivier Blanc, Laurence Mathieu+1 more|ArXiv.org|Nov 23, 2007

Natural Language Processing Techniques参考文献 15被引用数 4

ひとこと要約

Outilex は、XML 構造化データと有限状態オートマトンを用いて語彙的・句構造的・文法的解析を統合するオープンソースのソフトウェアプラットフォームである。標準化されたフォーマットを通じて相互運用性を実現し、統計的手法とルールベース手法を組み合わせ、LGPL-LR ライセンスの下で手作業で構築されたフランス語および英語の語彙を提供する。研究および産業分野における拡張可能でモジュラーな NLP ツール開発を顕著に前進させる。

ABSTRACT

The Outilex software platform, which will be made available to research, development and industry, comprises software components implementing all the fundamental operations of written text processing: processing without lexicons, exploitation of lexicons and grammars, language resource management. All data are structured in XML formats, and also in more compact formats, either readable or binary, whenever necessary; the required format converters are included in the platform; the grammar formats allow for combining statistical approaches with resource-based approaches. Manually constructed lexicons for French and English, originating from the LADL, and of substantial coverage, will be distributed with the platform under LGPL-LR license.

研究の動機と目的

• ルールベースと統計的手法を両方ともサポートする、オープンで相互運用可能な NLP プラットフォームの不足を解消すること。
• 標準化された文法およびデータフォーマットを通じて、統計的手法とルールベース手法のシームレスな統合を可能にすること。
• 自然言語処理分野における研究、開発、産業応用のための再利用可能で拡張可能なソフトウェアインfraを提供すること。
• MAF や XML ベースのフォーマットなど、新たな規範に準拠することで、言語リソース表現の標準化を促進すること。
• 協働的な NLP 開発を促進するため、パーサブルで高カバレッジのフランス語および英語の語彙を、許可性の高いライセンスで配布すること。

提案手法

• テキストのセグメンテーション、トークン化、言語的解析のための C++ ベースの処理モジュールを制御する Java ベースの GUI インターフェースを採用。
• Unicode ベースの文字分類を用いて、生テキストまたは HTML を段落、文、トークンに分割し、XML に保存する際の HTML 形式を保持。
• MAF 標準に準拠した形で、語彙的・構文的アノテーションに適した拡張可能な XML 形式（例：seg.xml）で言語的データを表現。
• 読み取り可能またはバイナリ形式の複数のコンパクトなデータフォーマットをサポートし、効率的なデータ処理のための組み込みフォーマット変換器を備える。
• 語彙的・構文的パターンおよび文法を表現・処理するために、有限状態オートマトンと再帰的遷移ネットワーク（RTNs）を用いる。
• 標準化された文法フォーマットを通じて、統計的手法とリソースベースの手法を統合し、ハイブリッド処理パイプラインを可能にする。

実験結果

リサーチクエスチョン

• RQ1 ルールベースと統計的手法の両方をサポートするモジュラーでオープンな NLP プラットフォームを、どのようにアーキテクチャ設計すればよいか？
• RQ2 言語的コンponentsやツール間での相互運用性を保証するために、必要な標準化され、拡張可能なデータフォーマットは何か？
• RQ3 主要言語向けの高カバレッジで手作業で構築された語彙を、効果的に配布・再利用するにはどうすればよいか？
• RQ4 XML ベースの構造化が、言語リソースのデータ交換および長期的保守性をどのように向上させるか？
• RQ5 統一されたプラットフォームは、NLP ツール開発における断片化をどの程度軽減し、リソース共有をどのように改善できるか？

主な発見

• Outilex プラットフォームは、セグメンテーション、語彙的解析、文法ベースのパースという、テキスト処理のコア機能を、1 つの拡張可能なフレームワークに成功して統合した。
• 352,464 個のトークンを含むコーパスにおいて、1 秒間に 22,185 語を処理することができ、リアルタイムまたはバッチ処理において高いパフォーマンスを示した。
• LADL から抽出された手作業で構築されたフランス語および英語の語彙は、広範なカバレッジを達成しており、LGPL-LR ライセンスの下で配布されている。
• XML とコンパクトなバイナリフォーマットの併用により、人間が読み取りやすく、かつ効率的な処理が可能であり、プラットフォーム内にフォーマット変換器が組み込まれている。
• 有限状態オートマトンと再帰的遷移ネットワークの統合により、複雑な語彙的・構文的パターンの効率的表現と実行が可能になった。
• 標準化された文法フォーマットを通じて、統計モデルとルールベースの文法を組み合わせるハイブリッド処理を Outilex はサポートしている。