[論文レビュー] MMCR4NLP: Multilingual Multiway Corpora Repository for Natural Language Processing

Raj Dabre, Sadao Kurohashi|arXiv (Cornell University)|Oct 3, 2017

Natural Language Processing Techniques参考文献 11被引用数 8

ひとこと要約

本論文では、59言語、5分野にわたる多言語多方向コーパス（MMC）を統合的・体系的に整理したMMCR4NLPを紹介する。Europarl、TED Talks、Bible、ILCI、UNなどの既存の二国語コーパスを英語をピボットとして用いてN言語コーパスを抽出し、標準化された訓練／開発／テスト分割を提供することで、公平で再現可能かつ性能向上の見込める多言語NLP研究、特に転移学習とドメイン適応の分野を促進する。

ABSTRACT

Multilinguality is gradually becoming ubiquitous in the sense that more and more researchers have successfully shown that using additional languages help improve the results in many Natural Language Processing tasks. Multilingual Multiway Corpora (MMC) contain the same sentence in multiple languages. Such corpora have been primarily used for Multi-Source and Pivot Language Machine Translation but are also useful for developing multilingual sequence taggers by transfer learning. While these corpora are available, they are not organized for multilingual experiments and researchers need to write boilerplate code every time they want to use said corpora. Moreover, because there is no official MMC collection it becomes difficult to compare against existing approaches. As such we present our work on creating a unified and systematically organized repository of MMC spanning a large number of languages. We also provide training, development and test splits for corpora where official splits are unavailable. We hope that this will help speed up the pace of multilingual NLP research and ensure that NLP researchers obtain results that are more trustable since they can be compared easily. We indicate corpora sources, extraction procedures if any and relevant statistics. We also make our collection public for research purposes.

研究の動機と目的

• NLP研究における多言語多方向コーパス（MMC）の中央集権的かつ体系的な収集の欠如に対処すること。
• 分散した二国語ソースからMMCを抽出・構造化する際に必要な繰り返し作業（ボイラープレートコード）を排除することで、冗長な工学的作業を削減すること。
• 公式の分割がない場合でも、標準化された訓練・開発・テスト分割を提供することで、多言語NLP手法の公平で比較可能な評価を可能にすること。
• 言語系統ごとにコーパスをグループ化することで、転移学習および言語の類縁関係に関する研究を支援すること。
• 完全な収集を公開し、明確な出典と抽出手順を提示することで、MMCのアクセス性と再利用可能性を拡大すること。

提案手法

• Europarl、TED Talks、Bible、ILCI、UNなどのソースから二国語平行コーパスを用い、英語をピボット言語として用いてN言語コーパスを抽出する。
• ハッシュマップを用いて、言語ペア間の文の翻訳を効率的に格納・交差させ、共通する多言語文を特定する。
• IWSLT、Bible、TED、Europarlなど、公式の分割がないコーパスに対して、標準化された訓練／開発／テスト分割（開発・テストは各2000件、残りを訓練用）を構築する。
• ドイツ語系、ロマンス語系、Slavic語系、ウロ＝フィン語系、バルト語系などの言語系統ごとにコーパスを整理することで、言語の類縁関係や転移学習に関する研究を支援する。
• 研究者が実装の負荷を減らせるよう、コーパス抽出および整理のためのオープンソーススクリプトを提供する。
• 観光、医療、外交、会議記録、宗教的テキストなど多様な分野を追加することで、ドメイン適応研究を支援する。

実験結果

リサーチクエスチョン

• RQ1 既存の二国語平行コーパスから、多言語多方向コーパスを体系的に抽出・整理する方法は何か？ これにより多言語NLP研究がどのように支援されるか？
• RQ2 標準化された訓練／開発／テスト分割は、多言語NLP実験の再現性と比較可能性をどの程度向上させるか？
• RQ3 言語系統ごとにコーパスをグループ化することで捉えられる言語の類縁関係は、多言語NLPタスクにおける転移学習性能にどのように影響するか？
• RQ4 統合的かつ公開可能な多言語コーパスリポジトリは、研究者が多言語実験用データを準備するのに要する時間と労力をどの程度削減できるか？
• RQ5 既存の二国語ソースから大規模なN言語コーパスを構築する際の実用的限界とスケーラビリティは何か？

主な発見

• MMCR4NLPリポジトリには、5分野にまたがる59言語が含まれており、最大のコーパスは21言語のEuroparlで、189,310行にのぼる。
• 著者らは、10言語のEuroparlコーパス（1,071,000行）と5言語のゲルマン語族コーパス（1,408,000行）を成功裏に抽出し、多様な言語グループにわたるスケーラビリティを実証した。
• 公式の分割がないコーパスに対しては、開発・テスト用に標準化された2000/2000/残りの分割を構築した。これにより、研究間での公平な評価が促進された。
• ILCIコーパスは12言語に拡張されたが、非公開のまま。研究用途のために6言語バージョンを抽出した。
• Bibleコーパスは、一貫性のある分割を保った多言語バージョンとして再構築され、低リソースNLP研究を支援した。
• Europarlコーパスは、言語系統別にグループ化され（例：6言語のSlavic語系、5言語のロマンス語系）、言語の類縁関係に関する比較研究を可能にした。