[論文レビュー] Bitext Mining Using Distilled Sentence Representations for Low-Resource Languages

Kevin S. Heffernan, Onur Çelebi+1 more|arXiv (Cornell University)|May 25, 2022

Natural Language Processing Techniques被引用数 8

ひとこと要約

本論文は、教師-生徒知識蒸留フレームワークを提案し、特に50種類のアフリカ語を含む低リソース言語に特化した多言語文書埋め込みモデルの訓練を、教師-生徒知識蒸留により実現する。この手法は、教師モデルとしての多言語大規模モデルと、生徒モデルとしての言語固有の小規模モデルを用い、自己教師あり事前学習と教師付き対照学習を組み合わせることで、ビテキスト抽出とNMT性能を顕著に向上させる。490万件の抽出ビテキストを活用することで、ソマリ語で最高21.3 BLEUを達成し、元のLASERモデルや既存の多言語埋め込みモデルを上回る性能を示した。

ABSTRACT

Scaling multilingual representation learning beyond the hundred most frequent languages is challenging, in particular to cover the long tail of low-resource languages. A promising approach has been to train one-for-all multilingual models capable of cross-lingual transfer, but these models often suffer from insufficient capacity and interference between unrelated languages. Instead, we move away from this approach and focus on training multiple language (family) specific representations, but most prominently enable all languages to still be encoded in the same representational space. To achieve this, we focus on teacher-student training, allowing all encoders to be mutually compatible for bitext mining, and enabling fast learning of new languages. We introduce a new teacher-student training scheme which combines supervised and self-supervised training, allowing encoders to take advantage of monolingual training data, which is valuable in the low-resource setting. Our approach significantly outperforms the original LASER encoder. We study very low-resource languages and handle 50 African languages, many of which are not covered by any other model. For these languages, we train sentence encoders, mine bitexts, and validate the bitexts by training NMT systems.

研究の動機と目的

• 低リソース言語、特に並列データや単語単位のモノリンガルデータが限られるアフリカ語を含む多言語NLPのスケーリング課題に対処すること。
• 共通の埋め込み空間内で相互に互換性を持つ言語族固有の文書埋め込みモデルを訓練することで、低リソース言語におけるビテキスト抽出性能を向上させること。
• 一つのモデルですべての言語をカバーする「ワン・フォー・オール」多言語モデルの限界を克服するため、最小限のデータで新しい言語に効率的に適応可能な教師-生徒知識蒸留スキームを用いること。
• エンド・ツー・エンドのNMT訓練を通じて、抽出されたビテキストの品質を検証し、翻訳性能向上の実用的効果を示すこと。

提案手法

• 共通の多言語教師モデルを用いて、言語族固有の生徒エンコーダーを訓練することで、統一された埋め込み空間内での言語間相互互換性を実現する。
• ビテキストデータとモノリンガルデータの両方を活用して文の表現を最適化するため、教師付き対照学習とマスキング言語モデル（MLM）を併用する。
• 教師は大規模な多言語モデル、生徒は小規模で言語特化型のエンコーダーである二重エンコーダー構造を採用し、蒸留により微調整を実施する。
• 生徒エンコーダーを用いてマージンベースのビテキスト抽出を実施し、215億件の英語文を用いて多言語間類似度検索を実行する。
• Tatoebaデータセットよりも代表的でないため、類似度検索誤差率の代替評価指標としてFLORESベンチマークを用いる。
• 公開ビテキストと抽出ビテキストを統合してNMTシステムを訓練し、抽出データの品質をBLEUスコアで評価する。

実験結果

リサーチクエスチョン

• RQ1 ワン・フォー・オール多言語モデルと比較して、教師-生徒知識蒸留フレームワークは、極めて低リソースな言語におけるビテキスト抽出性能を向上させることができるか？
• RQ2 教師付きと自己教師ありの両方の学習（MLMを含む）を統合することで、低リソース環境下での文の表現品質はどのように向上するか？
• RQ3 限られた公開ビテキストと組み合わせた低リソース言語からの抽出ビテキストは、下流のNMT性能をどの程度向上させることができるか？
• RQ4 既存の多言語文書埋め込みモデル（LASER や LaBSE）と比較して、本手法は低リソースアフリカ語において優れた性能を示すか？
• RQ5 モノリンガルデータの質と量は、抽出ビテキストを用いて訓練された最終NMTシステムの性能にどのような影響を及えるか？

主な発見

• 本手法は、17万9千件の公開ビテキストと490万件の抽出ビテキストを組み合わせることで、ソマリ語で21.3 BLEUを達成し、ベースライン比で16.2 BLEUの向上を示した。
• アカン、バミレケ、フルラなど13種のアフリカ語では、モノリンガルデータが不十分なため、BLEUスコアが5未満にとどまった。
• ウォロフ語のエンコーダーは、コサイン類似度とMLM損失の併用学習により、xsim誤差率が71.3％（21.05％から6.03％）低下した。
• 本モデルは12言語で元のLASERエンコーダーを上回り、FLORESベンチマークにおける多言語類似度検索においてLaBSEと同等またはそれを上回った。
• 本手法により、44種のアフリカ語のNMTシステムを訓練可能となり、そのうち24の言語ペアのエンコーダーとビテキストが公開され、評価が可能となった。