[論文レビュー] Automatic annotation of multilingual text collections with a conceptual thesaurus

Bruno Pouliquen, Ralf Steinberger+1 more|ArXiv.org|Sep 12, 2006

Natural Language Processing Techniques参考文献 9被引用数 79

ひとこと要約

本論文は、多言語的概念語彙 EUROVOC からの記述語を自動的に付与する統計的・関連的システムを提示する。これにより、多言語文書のクロスリンガルインデクシングおよびリンクが可能になる。手動でインデクシングされた文書で訓練されたこのシステムは、人間による評価において優れたパフォーマンスを示し、意味ウェブアプリケーションに適したほぼ言語に依存しないアノテーションを実現している。

ABSTRACT

Automatic annotation of documents with controlled vocabulary terms (descriptors) from a conceptual thesaurus is not only useful for document indexing and retrieval. The mapping of texts onto the same thesaurus furthermore allows to establish links between similar documents. This is also a substantial requirement of the Semantic Web. This paper presents an almost language-independent system that maps documents written in different languages onto the same multilingual conceptual thesaurus, EUROVOC. Conceptual thesauri differ from Natural Language Thesauri in that they consist of relatively small controlled lists of words or phrases with a rather abstract meaning. To automatically identify which thesaurus descriptors describe the contents of a document best, we developed a statistical, associative system that is trained on texts that have previously been indexed manually. In addition to describing the large number of empirically optimised parameters of the fully functional application, we present the performance of the software according to a human evaluation by professional indexers.

研究の動機と目的

• 共通の概念語彙を用いて、多言語文書の自動的・クロスリンガルなアノテーションを可能にする。
• 多様な言語を共通の意味的フレームワークにマッピングすることで、文書検索およびリンクを支援する。
• 言語固有の調整を最小限に抑えるシステムを開発し、言語独立性に近づける。
• 専門インデクサーが作成した人間によるアノテーション基準（ゴールドスタンダード）を用いて、システムのパフォーマンスを評価する。
• 意味ウェブ文脈における多言語文書アノテーションのための完全に最適化され、再利用可能なツールを提供する。

提案手法

• 本システムは、手動でインデクシングされた多言語文書で訓練された統計的・関連的モデルを用い、新しいテキストに対して最も関連性の高い EUROVOC 記述語を予測する。
• 文書内の語とその割り当てられた語彙項との共起パターンを活用して、意味的関連性を推定する。
• 多言語入力を異なる言語で処理するために、言語に依存しない特徴抽出および正規化を適用する。
• 多様な言語ペアにおけるアノテーション精度を最大化するために、多数の経験的チューニング済みパラメータを最適化する。
• システムは、入力テキストを EUROVOC 語彙が定義する共通の概念空間にマッピングすることで、クロスリンガルな整合性を実現する。
• 自動アノテーションの品質を検証するため、専門インデクサーによる人間の判断を用いてパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 統計的・関連的モデルは、概念語彙を用いて多言語文書の高精度な自動アノテーションを達成できるか？
• RQ2 このようなシステムは、どの程度言語固有のチューニングを最小限に抑え、言語独立性に近づけることができるか？
• RQ3 自動アノテーションのパフォーマンスは、複数の言語で人間のインデクシング基準とどの程度一致するか？
• RQ4 経験的に最適化されたパラメータは、システムのアノテーション精度にどのような影響を与えるか？
• RQ5 このシステムは、意味ウェブアプリケーションにおけるクロスリンガル文書リンクおよびインデクシングを効果的に支援できるか？

主な発見

• 人間による評価において、システムは専門インデクサーとほぼ同等のアノテーション品質を達成している。
• 統計的関連モデルは言語を越えて効果的に一般化しており、ほぼ言語に依存しない性能を示している。
• 経験的に最適化されたパラメータは、多言語テキストコレクションにおける記述語予測の精度を顕著に向上させている。
• システムは、異なる言語で記述された文書を同じ概念語彙にマッピングし、クロスリンガル文書リンクを実現している。
• 意味ウェブアプリケーションにおける多言語インデクシングおよび検索を要する文脈で、本アプローチが有効であると検証された。
• 制御語彙を用いた多言語テキストコレクションの自動アノテーションに、スケーラブルかつ再利用可能なソリューションを提供する。