[論文レビュー] Un modèle générique d'organisation de corpus en ligne: application à la FReeBank

Susanne Salmon-Alt, Laurent Romary+1 more|arXiv (Cornell University)|Nov 6, 2006

Natural Language Processing Techniques参考文献 16被引用数 4

ひとこと要約

本論文は、FReeBankプロジェクトに適用された、オンライン語彙コーパスを整理・配備するための汎用的で標準化されたモデルを提示する。このモデルは、TEIおよびISO/TC 37/SC 4の基準を統合し、ハイブリッド制約文法（Constraint Grammar）の出力を手動で修正することで、継続的な拡充を可能にし、研究用語彙コーパスの相互運用性、品質、長期的保守性を確保する。

ABSTRACT

The few available French resources for evaluating linguistic models or algorithms on other linguistic levels than morpho-syntax are either insufficient from quantitative as well as qualitative point of view or not freely accessible. Based on this fact, the FREEBANK project intends to create French corpora constructed using manually revised output from a hybrid Constraint Grammar parser and annotated on several linguistic levels (structure, morpho-syntax, syntax, coreference), with the objective to make them available on-line for research purposes. Therefore, we will focus on using standard annotation schemes, integration of existing resources and maintenance allowing for continuous enrichment of the annotations. Prior to the actual presentation of the prototype that has been implemented, this paper describes a generic model for the organization and deployment of a linguistic resource archive, in compliance with the various works currently conducted within international standardization initiatives (TEI and ISO/TC 37/SC 4).

研究の動機と目的

• 形態素構文を超えるNLPモデルの評価に用いる高品質で自由に利用可能なフランス語言語資源の不足を解消すること。
• 国際基準（TEIおよびISO/TC 37/SC 4）に準拠した、標準化され、保守可能なオンライン語彙コーパス配信フレームワークの開発。
• 既存リソースの統合とアノテーション再利用を通じて、コーパスの継続的拡充を可能にすること。
• 構造、形態素構文、構文、共参照の複数レベルの言語的アノテーションを確保し、研究用途に耐えうる強固な基盤を提供すること。
• 学術および研究コミュニティが利用可能な、キュレートされたフランス語コーパスへのオープンでオンラインのアクセスを促進すること。

提案手法

• 拡張可能で標準化されたメタデータおよびアノテーション方式に基づく、言語資源アーカイブの汎用的アーキテクチャモデルの設計。
• 言語的アノテーションのエンコードの基盤として、テキストエンコーディング・イニシャチブ（TEI）ガイドラインを採用すること。
• 相互運用性と再利用性を確保するため、ISO/TC 37/SC 4の言語的アノテーション基準を統合すること。
• 初期の言語的アノテーションをハイブリッド制約文法パーサーで生成し、その後に手動による修正を実施して品質保証を行うこと。
• アノテーションの段階的拡充とバージョン管理を可能にするモジュラーなシステムの実装。
• 標準化されたクエリおよびリクエストインターフェースを備えた、ウェブアクセス可能なアーカイブとしてプロトタイプをデプロイすること。

実験結果

リサーチクエスチョン

• RQ1 研究用途のオンライン語彙コーパスを整理・配信するための、汎用的で標準化されたモデルをどのように設計できるか？
• RQ2 言語的アノテーション付きコーパスの長期的保守性と拡張性を確保するための技術的および手法的アプローチは何か？
• RQ3 既存の言語的リソースを、統合的で複数レベルのアノテーション付きコーパスに効果的に統合する方法は何か？
• RQ4 標準化されたアノテーション方式（TEI、ISO/TC 37/SC 4）が、高品質で再利用可能なフランス語コーパスの作成をどの程度支援できるか？
• RQ5 共同作業環境における言語的コーパスにおいて、継続的拡充とバージョン管理を可能にするメカニズムは何か？

主な発見

• 提示されたモデルは、国際基準に準拠した複数レベルのアノテーション付きフランス語コーパス（FReeBank）の作成と配信に成功している。
• パーサーが生成したアノテーションの手動による修正が、構文および共参照レベルにおける言語的アノテーションの品質と信頼性を顕著に向上させた。
• 既存リソースの統合と標準化されたエンコード方式の採用により、コーパス開発における再利用性の向上と重複の削減が実現された。
• システムは継続的拡充をサポートしており、時間の経過とともに段階的な改善と更新が可能である。
• プロトタイプは、研究文脈における大規模でオープンアクセスの語彙コーパス配信の実現可能性とスケーラビリティを示している。