[論文レビュー] Automatic Identification of Document Translations in Large Multilingual Document Collections

Bruno Pouliquen, Ralf Steinberger+1 more|ArXiv.org|Sep 12, 2006

Natural Language Processing Techniques参考文献 14被引用数 53

ひとこと要約

本稿では、テキストを多言語のthesaurus用語のベクトルとして表現し、意味的類似度を測定することで、大規模な多言語コレクション内の文書翻訳を自動的に同定するシステムを提示する。820件までの文書において96％を超える精度を達成し、言語固有の差を無視しながら、言語間で一貫した類似度スコアを維持する。

ABSTRACT

Texts and their translations are a rich linguistic resource that can be used to train and test statistics-based Machine Translation systems and many other applications. In this paper, we present a working system that can identify translations and other very similar documents among a large number of candidates, by representing the document contents with a vector of thesaurus terms from a multilingual thesaurus, and by then measuring the semantic similarity between the vectors. Tests on different text types have shown that the system can detect translations with over 96% precision in a large search space of 820 documents or more. The system was tuned to ignore language-specific similarities and to give similar documents in a second language the same similarity score as equivalent documents in the same language. The application can also be used to detect cross-lingual document plagiarism.

研究の動機と目的

• 大規模な多言語文書コレクションにおける翻訳文書の効率的同定という課題に対処すること。
• 言語に依存しない方法で文書間の意味的類似度を同定する手法を開発すること。特に、言語形態ではなく内容に焦点を当てる。
• 異言語間の類似度スコアの一貫性を確保し、言語固有のバイアスを回避すること。
• 大規模な検索空間においてもスケーラブルに動作させ、高い精度と再現率を維持すること。
• 異言語間の類似度スコアの一貫性を確保し、言語固有のバイアスを回避すること。
• 大規模な検索空間においてもスケーラブルに動作させ、高い精度と再現率を維持すること。

提案手法

• 多言語のthesaurusからの用語のベクトルを用いて、文書の内容を意味的意味を捉える形で表現する。
• 語彙的形態ではなく概念的同等性に重点を置いた類似度関数を用いて、文書ベクトル間の意味的類似度を測定する。
• 文法や屈折語形といった言語固有の特徴を軽視するようにシステムをチューニングし、共有された意味に焦点を当てる。
• 多言語のthesaurusを用いて、言語を越えた単語を共通の意味的コンセプトにマッピングし、異言語比較を可能にする。
• 高い意味的類似度を示す文書ペアを検出することで、潜在的な翻訳を同定する。
• 多様なテキストタイプにおける性能を検証し、分野を越えて堅牢性を確保する。

実験結果

リサーチクエスチョン

• RQ1 thesaurusに基づくベクトル表現は、多言語コレクションにおける文書翻訳を効果的に同定できるか？
• RQ2 同等の文書が異なる言語で記述された場合、類似度スコアが一貫して保たれるか？
• RQ3 820件以上の文書を含む大規模な検索空間において、翻訳の同定でどの程度の精度が達成できるか？
• RQ4 真の翻訳と、意味的に類似しているが翻訳でない文書を、どの程度正確に区別できるか？
• RQ5 この手法は、異言語間の文書盗用を検出するために効果的に応用できるか？

主な発見

• 本システムは、820件以上の文書を含む検索空間において、翻訳の同定で96％を超える精度を達成した。
• 本手法は言語固有の特徴を効果的に正規化し、異なる言語で記述された同等の文書が類似度スコアで類似した値を示すことを確認した。
• 多様なテキストタイプにおいても堅牢な性能を示し、広範な適用可能性を示した。
• 本システムはNewsExplorerという多言語ニュース分析プラットフォームに実装され、実世界での有用性を裏付けた。
• 多言語のthesaurusの使用により、並列学習データを必要とせずに、効果的な異言語意味比較が可能になった。
• 本システムは、異言語間の盗用検出や多言語文書リンクの応用を効果的に支援した。