[論文レビュー] The JRC-Acquis: A multilingual aligned parallel corpus with 20+ languages

Ralf Steinberger, Bruno Pouliquen+5 more|ArXiv.org|Sep 12, 2006

Natural Language Processing Techniques参考文献 12被引用数 429

ひとこと要約

JRC-Acquis は、20か国語以上の公式 EU 言語に翻訳された、ほぼ 8,000 件のヨーロッパ連合法的文書で構成される、無料で利用可能な多言語並列コーパスであり、190 組以上の言語対について、2 つのアライナー（Vanilla および HunAlign）を用いた対応する段落レベルのアライメントが行われている。このコーパスは、多言語間の研究、NLP ツールのベンチマーク評価、マルチラベル分類およびキーワード割り当てシステムの学習を可能にし、XML 形式で記述され、EUROVOC の主題メタデータが付与されている。

ABSTRACT

We present a new, unique and freely available parallel corpus containing European Union (EU) documents of mostly legal nature. It is available in all 20 official EUanguages, with additional documents being available in the languages of the EU candidate countries. The corpus consists of almost 8,000 documents per language, with an average size of nearly 9 million words per language. Pair-wise paragraph alignment information produced by two different aligners (Vanilla and HunAlign) is available for all 190+ language pair combinations. Most texts have been manually classified according to the EUROVOC subject domains so that the collection can also be used to train and test multi-label classification algorithms and keyword-assignment software. The corpus is encoded in XML, according to the Text Encoding Initiative Guidelines. Due to the large number of parallel texts in many languages, the JRC-Acquis is particularly suitable to carry out all types of cross-language research, as well as to test and benchmark text analysis software across different languages (for instance for alignment, sentence splitting and term extraction).

研究の動機と目的

• 複数の言語で構成される大規模かつ freely 利用可能な EU 立法文書の並列コーパスを構築し、多言語間の研究を支援すること。
• 多様な言語対において、段落レベルの構造がアライメントされた高品質な多言語並列コーパスの不足を是正すること。
• 文書の文書レベルのアライメント、用語抽出、マルチラベル分類システムなどの NLP ツールの学習および評価に使用可能な標準的かつ構造化されたリソースを提供すること。
• EUROVOC を用いた詳細な主題メタデータを含め、多言語間での意味的分類およびキーワード割り当てに関する研究を可能にすること。

提案手法

• 1 言語あたり約 8,000 件の EU 法的文書を収集し、1 言語あたり合計でほぼ 900 万語にのぼる。
• 2 種類の異なる段落アライナ（Vanilla および HunAlign）を用いて、190 組以上の言語対すべてにおいて、並列テキストセグメントのアライメントを生成した。
• 文書を EUROVOC 主題ドメインに手動で分類し、意味的およびマルチラベル分類研究を支援した。
• すべてのテキストを、一貫性のある機械可読構造を保証する Text Encoding Initiative (TEI) パラダイムに従って XML でエンコードした。
• 文書タイプ、言語、主題分類などのメタデータを含め、NLP パipラインにおける検索性および利用可能性を向上させた。
• 学術的および研究的利用を目的として、公開リポジトリを通じて完全にアクセス可能な形でコーパスを公開した。

実験結果

リサーチクエスチョン

• RQ1 Vanilla および HunAlign のような異なる段落アライナ技術は、多様な言語対において、多言語 EU 法的文書のアライメントにどの程度効果的か。
• RQ2 JRC-Acquis は、複数のヨーロッパ言語において、マルチラベルテキスト分類システムの学習および評価をどの程度支援できるか。
• RQ3 このコーパスは、文節分割、用語抽出、アライメント精度といった多言語 NLP タスクの信頼できるベンチマークとして機能できるか。
• RQ4 EUROVOC 主題メタデータの付与により、多言語環境下でのキーワード割り当ておよび意味的分類ツールの性能はどの程度向上するか。
• RQ5 多様な言語的および法的ドメインに応用する場合、大規模かつ多言語の並列コーパスのスケーラビリティおよび一貫性はどの程度か。

主な発見

• JRC-Acquis には、1 言語あたりほぼ 8,000 件の文書が含まれており、1 言語あたり平均でほぼ 900 万語にのぼり、これは公開可能な多言語並列コーパスの中で最大クラスに属する。
• 2 種類の異なるアライナを用いて、190 組以上の言語対すべてにおいて段落レベルのアライメントを成功裏に生成した。これにより、信頼性および比較可能性が向上した。
• 大多数のテキストに手動による EUROVOC 主題分類が施されており、マルチラベル分類および意味的インデクシングに関する高度な研究を可能にしている。
• TEI準拠の XML 構造により、一貫性があり機械処理可能なアクセスが可能であり、多様な NLP パイプラインへの統合を支援している。
• このコーパスは、学術的および産業的 NLP 研究における再現性および広範な採用を促進するため、無料でダウンロード可能である。
• このリソースは、LREC 2006 会議でベンチマークおよび評価に成功裏に使用されており、多言語 NLP タスクにおける実用性を裏付けている。