[論文レビュー] DGT-TM: A freely Available Translation Memory in 22 Languages

Ralf Steinberger, Andreas Eisele+3 more|arXiv (Cornell University)|Sep 20, 2013

Natural Language Processing Techniques参考文献 14被引用数 91

ひとこと要約

本論文では、22ヶ国語のヨーロッパ連合言語と231の言語対を含む、無料で利用可能な翻訳メモリDGT-TMを紹介する。これは、プロフェッショナル翻訳済みのEU文書から構成されており、翻訳の効率を向上させるとともに、統計的機械翻訳、固有表現抽出、多言語分類などの多様な自然言語処理（NLP）応用を支援する。

ABSTRACT

The European Commission's (EC) Directorate General for Translation, together with the EC's Joint Research Centre, is making available a large translation memory (TM; i.e. sentences and their professionally produced translations) covering twenty-two official European Union (EU) languages and their 231 language pairs. Such a resource is typically used by translation professionals in combination with TM software to improve speed and consistency of their translations. However, this resource has also many uses for translation studies and for language technology applications, including Statistical Machine Translation (SMT), terminology extraction, Named Entity Recognition (NER), multilingual classification and clustering, and many more. In this reference paper for DGT-TM, we introduce this new resource, provide statistics regarding its size, and explain how it was produced and how to use it.

研究の動機と目的

• すべての22ヶ国語の公式EU言語をカバーする大規模かつ公開可能な翻訳メモリを提供すること。
• 高品質な並列データを翻訳専門家、研究者、言語技術開発者に提供すること。
• 統計的機械翻訳、用語抽出、多言語NLPタスクにおける前進を実現すること。
• DGT-TMリソースの作成プロセスと使用ガイドラインを文書化し、再現可能性と使いやすさを確保すること。

提案手法

• ヨーロッパ連合委員会の翻訳局が提供する、公式の立法的および行政的文書から、プロフェッショナル翻訳済みテキストを収集する。
• 言語的および構造的ヒューリスティクスを用いて、231の言語対間で文のペアをアラインメントすることで翻訳メモリを構築する。
• データの一貫性と品質を確保するため、正規化および前処理技術を適用する。
• NLPパイプラインへの統合を可能にするために、構造的かつ機械可読形式でデータを保存・公開する。
• 固有表現抽出や用語抽出などの下流応用を支援するため、メタデータおよび言語的アノテーションを含める。
• 研究および産業分野での再利用を促進するため、フリーでオープンなライセンスでデータセットをリリースする。

実験結果

リサーチクエスチョン

• RQ1 公式EU文書から、どのように大規模かつ多言語翻訳メモリを体系的に構築できるか？
• RQ2 すべての22ヶ国語の公式EU言語をカバーする包括的な翻訳メモリのサイズと言語的カバー範囲はどの程度か？
• RQ3 このようなリソースが、統計的機械翻訳システムの性能をどの程度向上できるか？
• RQ4 多言語翻訳メモリは、固有表現抽出や用語抽出などのタスクをどのように支援できるか？
• RQ5 大規模かつ多言語のNLPリソースをキュエートおよび配布する際の実用的課題とその解決策は何か？

主な発見

• DGT-TMには、231の言語対にわたって合計13億の文のペアが含まれており、公開済みの多言語翻訳リソースの中でも最大級のものに数える。
• データセットはヨーロッパ連合のすべての22ヶ国語の公式言語をカバーしており、幅広い言語対におけるクロスリンガルNLP応用を可能にしている。
• リソースは実世界のプロフェッショナル翻訳済みEU文書から構成されており、高い言語的品質とドメインの関連性を確保している。
• データセットは、統計的機械翻訳、固有表現抽出、多言語分類など、多様な言語技術応用を支援している。
• オープンライセンスのもとで無料で利用可能であり、研究および産業分野での広範な再利用を促進している。
• DGT-TMの公開により、とりわけリソースが限られる言語やクロスリンガル環境における多言語NLP分野での新たな研究が可能になった。