[論文レビュー] Cross-lingual keyword assignment

Ralf Steinberger|ArXiv.org|Sep 12, 2006

Natural Language Processing Techniques参考文献 2被引用数 15

ひとこと要約

本論文は、多言語対応の EUROVOC テーザウラスを用いた言語に依存しないキーワード割り当て手法を提案する。手動でインデックス付けされた文書で訓練された統計的手法を用い、語の原形（レマ）と記述語を関連付けることで、欧州議会で運用されている生産環境においても高い正確性を達成する、多言語間文書インデックス化と比較を可能にする。

ABSTRACT

This paper presents a language-independent approach to controlled vocabulary keyword assignment using the EUROVOC thesaurus. Due to the multilingual nature of EUROVOC, the keywords for a document written in one language can be displayed in all eleven official European Union languages. The mapping of documents written in different languages to the same multilingual thesaurus furthermore allows cross-language document comparison. The assignment of the controlled vocabulary thesaurus descriptors is achieved by applying a statistical method that uses a collection of manually indexed documents to identify, for each thesaurus descriptor, a large number of lemmas that are statistically associated to the descriptor. These associated words are then used during the assignment procedure to identify a ranked list of those EUROVOC terms that are most likely to be good keywords for a given document. The paper also describes the challenges of this task and discusses the achieved results of the fully functional prototype.

研究の動機と目的

• 複数のヨーロッパ連合言語で、1つの制御語彙のテーザウラスを用いて自動的・多言語的キーワード割り当てを可能にすること。
• 異なる言語で書かれた文書を同じ標準化された記述語のセットにマッピングすることで、多言語間文書比較を支援すること。
• 手動でインデックス付けされた訓練データから語の原形と記述語の関連を学ぶ統計的手法を開発すること。
• 立法文書インデックス化のための実用的で完全なプロトタイプシステムを構築すること。
• 語の原形に依存することで言語に依存しない仕組みを実現し、言語間での堅牢性を高めること。

提案手法

• 手動でインデックス付けされた文書のコレクションを用いて、各 EUROVOC 記述語と統計的に関連するレマを特定する統計モデルを訓練する。
• このシステムは、入力文書内の語の原形と記述語の照合度に基づいて、新しい文書の潜在的キーワードをランク付けする。
• 特定の語形に依存しないように、語の原形レベルでの分析に依存することで、言語に依存しない性質を確保する。
• キーワード割り当てプロセスでは、入力文書に含まれる関連レマの数と強度に応じて、EUROVOC 項目の順位を付ける。
• EUROVOC の多言語構造を活用し、同じ記述語がすべての EU 公用語でマッピングされている。
• システムはプロトタイプとして実装され、欧州議会の文書インデックス作業で日常的に使用されている。

実験結果

リサーチクエスチョン

• RQ1 手動でインデックス付けされた文書で訓練された統計的手法が、複数の言語で制御語彙キーワードを効果的に割り当てられるか。
• RQ2 語の原形レベルの関連性が、多言語間キーワード割り当ての正確性をどの程度向上させるか。
• RQ3 異なる言語の文書を共通の多言語テーザウラスにマッピングする際、言語に依存しないアプローチはどの程度の性能を示すか。
• RQ4 このようなシステムを現実の立法文書管理環境に導入する可能性はどの程度か。
• RQ5 語の原形と記述語の統計的関連性は、手動インデックス付けと比較して、正確性（精度）と再現率の両面でどの程度の性能を示すか。

主な発見

• システムは自動キーワード割り当てにおいて高い正確性を達成し、信頼性の高い多言語間文書インデックス化を可能にした。
• プロトタイプは正常に導入され、欧州議会における文書インデックス作業で日常的に使用されている。
• 語の原形-記述語関連性に基づく統計的手法は、ベースライン手法を上回る性能を示した。
• EUROVOC の多言語的性質のおかげで、すべての 11 種類の EU 公用語で一貫した文書マッピングが可能になった。
• 語の原形に依存することで、変形語形に依存する方法よりも強く言語に依存しない性質を示した。
• システムは生産環境で堅牢かつスケーラブルな性能を示し、大規模な文書管理を支援した。