[論文レビュー] Learning Word Vectors for 157 Languages

Édouard Grave, Piotr Bojanowski+3 more|arXiv (Cornell University)|Feb 19, 2018

Natural Language Processing Techniques被引用数 144

ひとこと要約

この論文は、WikipediaとCommon Crawlデータを用いて157言語の高品質な語彙ベクトルを学習し、三つの新しい語のアナロジー・データセット（フランス語、ヒンディー語、ポーランド語）を導入し、10言語での評価とデータソースおよびモデル変種の分析を示しています。

ABSTRACT

Distributed word representations, or word vectors, have recently been applied to many tasks in natural language processing, leading to state-of-the-art performance. A key ingredient to the successful application of these representations is to train them on very large corpora, and use these pre-trained models in downstream tasks. In this paper, we describe how we trained such high quality word representations for 157 languages. We used two sources of data to train these models: the free online encyclopedia Wikipedia and data from the common crawl project. We also introduce three new word analogy datasets to evaluate these word vectors, for French, Hindi and Polish. Finally, we evaluate our pre-trained word vectors on 10 languages for which evaluation datasets exists, showing very strong performance compared to previous models.

研究の動機と目的

• 英語を超えた多言語コーパスでの大規模な多言語語表現学習を動機づける。
• 157言語にわたるデータ収集、言語識別、重複排除、トークン化の手順を説明する。
• サブワード情報と位置重み付きCBOWをfastTextの拡張として用い、高品質な多言語埋め込みを訓練する。
• フランス語、ヒンディー語、ポーランド語の三つの新規言語特化アナロジー・データセットを導入し、多言語モデルをアナロジー課題で評価する。
• トレーニングデータソース（Wikipedia対Common Crawl）とハイパーパラメータの選択がアナロジー性能に与える影響を評価する。

提案手法

• サブワード情報（文字n-gram）を用いたfastTextモデルの拡張を用いて語彙ベクトルを学習する。
• スキップグラムとCBOWの変種を比較し、位置重み付きCBOWモデルを含む。
• 言語別にデータを前処理し、行を重複排除し、言語に適したツールでトークン化する。
• 二つのデータソース（WikipediaとCommon Crawl、2017年5月クローリング）で語彙ベクトルを訓練する。
• 英語のアナロジーに基づいてフランス語、ヒンディー語、ポーランド語の新しいアナロジー・データセットを導入・翻訳する。
• 評価は固定語彙制限を用いて十言語にわたる語彙アナロジー課題で実施する。

実験結果

リサーチクエスチョン

• RQ1 大規模な混合ソース（WikipediaとCommon Crawl）を用いて157言語の高品質な語彙ベクトルを学習できるか。
• RQ2 データソース、モデル変種、およびハイパーパラメータが多言語語彙アナロジー性能に与える影響は何か。
• RQ3 サブワード情報を用いたモデル（fastText拡張）はベースラインと比べて言語間アナロジー精度を改善するか。
• RQ4 新しく導入されたフランス語、ヒンディー語、ポーランド語のアナロジー・データセットは既存のベンチマークと比較してどのように多言語埋め込みの評価に影響を与えるか。

主な発見

チェコ語	ドイツ語	スペイン語	フィンランド語	フランス語	ヒンディー語	イタリア語	ポーランド語	ポルトガル語	中国語	平均
63.1	61.0	57.4	35.9	64.2	10.6	56.3	53.4	54.0	60.2	51.0
57.7	61.8	57.5	39.4	65.9	8.3	57.2	54.5	54.8	59.3	50.9
63.9	71.7	64.4	42.8	71.6	14.1	66.2	56.0	60.6	51.5	55.5
64.8	73.7	65.0	45.0	73.5	14.5	68.0	58.3	62.9	56.0	57.4
64.6	73.9	67.1	46.8	74.9	16.1	69.3	58.2	64.7	60.6	58.8
69.9	72.9	65.4	70.3	73.6	32.1	69.8	67.9	66.7	78.4	66.7

• WikipediaとCommon Crawlの両方で訓練した語彙ベクトルは、十言語で強力なアナロジー性能を達成する。
• 位置重み付きCBOWとサブワード情報を組み合わせると、全体として最大の改善をもたらす。
• ネガティブサンプル数を増やし訓練エポック数を増やすとアナロジーの精度が向上するが、訓練コストは増大する。
• Common Crawlデータはカバレッジを拡大し、低リソース言語（例：ヒンディー語、フィンランド語、ポーランド語）で特に恩恵を受ける一方で、高リソース言語ではわずかな向上や低下をもたらすことがある。
• 高リソース言語では、アナロジー・データセットとのドメインミスマッチのためクロールデータの精度向上効果が大きく出ない場合がある。
• フランス語、ヒンディー語、ポーランド語の新しい言語特化アナロジー・データセットにより、より広い多言語評価が可能になる。