[論文レビュー] A Corpus for Multilingual Document Classification in Eight Languages

Holger Schwenk, Xian Li|arXiv (Cornell University)|May 24, 2018

Natural Language Processing Techniques参考文献 7被引用数 18

ひとこと要約

本稿は、リーマンズ・コーパス・ボリューム2に基づく、英語、フランス語、スペイン語、イタリア語、ドイツ語、ロシア語、中国語、日本語の8つの多様な言語をカバーする、新たな多言語ドキュメント分類コーパスを紹介する。クラスの事前確率がバランスされているため、言語間転送の公平な評価が可能である。多言語単語および文の埋め込みを用いた強力なベースラインを提案し、複数言語を同時に学習することで、ゼロショットおよびターゲット言語への転送性能が顕著に向上することを示している。低リソース言語を含む言語ペairに対しても同様の効果が得られている。

ABSTRACT

Cross-lingual document classification aims at training a document classifier on resources in one language and transferring it to a different language without any additional resources. Several approaches have been proposed in the literature and the current best practice is to evaluate them on a subset of the Reuters Corpus Volume 2. However, this subset covers only few languages (English, German, French and Spanish) and almost all published works focus on the the transfer between English and German. In addition, we have observed that the class prior distributions differ significantly between the languages. We argue that this complicates the evaluation of the multilinguality. In this paper, we propose a new subset of the Reuters corpus with balanced class priors for eight languages. By adding Italian, Russian, Japanese and Chinese, we cover languages which are very different with respect to syntax, morphology, etc. We provide strong baselines for all language transfer directions using multilingual word and sentence embeddings respectively. Our goal is to offer a freely available framework to evaluate cross-lingual document classification, and we hope to foster by these means, research in this important area.

研究の動機と目的

• 既存の言語間ドキュメント分類ベンチマークにおける言語間のクラス事前確率の不均衡が、言語固有のデータ不均衡に起因する評価の歪みを生じさせることを是正する。
• 英語-ドイツ語に限らず、8つの言語的多様性を持つ言語を含む言語間ドキュメント分類のスコープを拡大し、多言語評価の堅牢性を高める。
• 全言語の転送方向をカバーする、バランスの取れた訓練・開発・テストセットを備えた標準化された、自由に利用可能な評価フレームワークを提供する。
• ゼロショット、ターゲット言語最適化、および複数言語同時学習の3つのシナリオにおいて、多言語単語および文の埋め込みを用いた強力なベースラインを確立する。
• 包括的かつ再現可能な多言語ドキュメント分類研究を促進するため、詳細なパフォーマンス指標を備えた統一ベンチマークを提供する。

提案手法

• 英語、フランス語、スペイン語、イタリア語、ドイツ語、ロシア語、中国語、日本語の8言語で、クラス事前確率がバランスされたリーマンズ・コーパス・ボリューム2の新規サブセットを構築する。
• 各言語に対して独立した訓練・開発・テストセットを定義し、転送方向にわたる一貫性と公平性を確保する。
• MultiCCAを用いて多言語単語埋め込みを実装し、言語間で単語を共有の意味的空間にマッピングする。
• ヨーロッパ議会および国連の並列コーパス上で学習された、複数言語の文の埋め込みを活用し、言語間で共通の文の表現を学習する。
• 3つの転移学習戦略を評価する：ゼロショット（1言語で訓練し、他言語でテスト）、ターゲット最適化（ターゲット言語に最適化）、および複数言語同時学習（複数言語を同時に訓練）。
• すべての転送設定で1層のMLP分類器を用い、ハイパーパramータチューニングはターゲット言語の開発セット上で実施する。

実験結果

リサーチクエスチョン

• RQ1 言語間のクラス事前確率の不均衡が、言語間ドキュメント分類評価の信頼性にどのように影響するか？
• RQ2 バランスの取れた多言語コーパスは、言語間転移学習ベンチマークの公平性と再現可能性を向上させられるか？
• RQ3 ゼロショットおよびターゲット言語分類において、多言語単語埋め込みと多言語文の埋め込みの性能はどのように比較されるか？
• RQ4 ゼロショットまたはターゲット転送と比較して、複数言語同時学習によりどの程度のパフォーマンス向上が達成可能か？
• RQ5 中国語やロシア語のような言語的距離の遠い言語ペア間での転送において、言語間転送システムの頑健性はどの程度か？

主な発見

• 提案されたMLDocコーパスは、8言語すべてでバランスの取れたクラス事前確率を達成しており、元のRCV2サブセットのような既存のベンチマークに見られるバイアスを軽減している。
• ヨーロッパ議会および国連コーパス上で学習された多言語文の埋め込みは、ゼロショット転送において、特に英語以外の言語をソース言語とする場合、単語ベースの埋め込みを上回る性能を示している。
• 英語ではなくドイツ語やフランス語で学習することで、他の言語への転送性能が向上することが示され、英語が常に最適なソース言語であるという仮定に疑問を呈している。
• 1言語あたり200例のデータを用いた複数言語同時学習では、5言語の平均精度が82.04%に達し、ゼロショットおよびターゲット転送のベースラインを顕著に上回っている。
• 文の埋め込みを用いた最良のシステムは、英語からフランス語へのゼロショット転送で89.75%の精度を達成し、6つの転送方向のうち3つで既存の最先端技術を上回っている。
• ロシア語や中国語のような言語的距離の遠い言語ペア間の転送でも、顕著な精度（例：フランス語からイタリア語への転送で82.88%）が得られており、多言語文の埋め込み表現の頑健性を示している。