[論文レビュー] Exploiting multilingual nomenclatures and language-independent text features as an interlingua for cross-lingual text analysis applications

Ralf Steinberger, Bruno Pouliquen+1 more|ArXiv.org|Sep 12, 2006

Natural Language Processing Techniques参考文献 10被引用数 35

ひとこと要約

本稿では、多言語の用語集（例：同義語辞書、地名辞書、多言語辞書）と言語に依存しないテキスト特徴（例：日付、数字、類縁語）を活用することで、言語に依存しない中間表象（インタリンギア）を提案する。この手法により、言語固有のモデルを必要とせず、複数の言語間で効率的なドキュメント類似度、クラスタリング、分類、検索が可能となり、NewsExplorerシステムにおいて有効性が実証されている。

ABSTRACT

We are proposing a simple, but efficient basic approach for a number of multilingual and cross-lingual language technology applications that are not limited to the usual two or three languages, but that can be applied with relatively little effort to larger sets of languages. The approach consists of using existing multilingual linguistic resources such as thesauri, nomenclatures and gazetteers, as well as exploiting the existence of additional more or less language-independent text items such as dates, currency expressions, numbers, names and cognates. Mapping texts onto the multilingual resources and identifying word token links between texts in different languages are basic ingredients for applications such as cross-lingual document similarity calculation, multilingual clustering and categorisation, cross-lingual document retrieval, and tools to provide cross-lingual information access.

研究の動機と目的

• 言語固有のモデルを必要とせず、多数の言語セットに対してクロスリンガルテキスト分析を可能にすること。
• 2〜3言語を超えるスケーリングを課題とする多言語NLPアプリケーションの課題に対処すること。
• インタリンギアに基づくクロスリンガル情報検索のための軽量で再利用可能なフレームワークの開発。
• 多言語の言語資源と言語に依存しないテキスト要素を統合し、統一された表現としてクロスリンガルタスクに適用すること。

提案手法

• 同義語辞書、地名辞書、多言語辞書などの多言語用語集にソーステキストをマッピングすること。
• 日付、通貨、数字、固有名、類縁語など、言語に依存しないテキスト項目を複数の言語で特定すること。
• 共通の用語集エントリーや普遍的特徴に基づいて、多言語テキスト間の語トークンをリンクすること。
• 多言語リソースと普遍的テキストパターンに根ざした共有意味表現（インタリンギア）を構築すること。
• クロスリンガルドキュメント類似度、クラスタリング、検索などのタスクにインタリンギアを適用すること。
• 多言語ニュース分析を目的としたNewsExplorerシステムにおいて、このアプローチを検証すること。

実験結果

リサーチクエスチョン

• RQ1 多言語用語集と言語に依存しない特徴をどのように統合することで、スケーラブルなインタリンギアをクロスリンガルテキスト分析に構築できるか？
• RQ2 このインタリンギアアプローチは、多言語NLPアプリケーションにおける言語固有のモデルへの依存度をどの程度低減できるか？
• RQ3 この手法は、多様な言語ペア間でドキュメント類似度と検索を効果的にサポートできるか？
• RQ4 共有された言語的特徴と普遍的テキスト特徴を用いることで、翻訳なしにクロスリンガルアライメントをどの程度向上できるか？
• RQ5 このアプローチをNewsExplorerのような実世界の多言語システムに展開する実用的妥当性は何か？

主な発見

• 提案されたインタリンギアアプローチにより、翻訳や言語固有のモデルを一切必要とせず、多言語用語集と普遍的テキスト特徴のみでクロスリンガルドキュメント類似度と検索が可能となった。
• 本手法は、追加の設定最小限で広範な言語をカバーでき、従来の2〜3言語に限ったシステムを超えてスケーラブルである。
• 日付、数字、類縁語などの言語に依存しない特徴の統合が、クロスリンガルアライメントの正確性を顕著に向上させた。
• 本アプローチはNewsExplorerシステムに実際に導入され、多言語ニュース分析における実用的有用性が実証された。
• 多言語用語集を介してドキュメントを共有意味空間にマッピングすることで、多言語クラスタリングと分類が可能になった。