[論文レビュー] Bitext Mining for Low-Resource Languages via Contrastive Learning

Weiting Tan, Philipp Koehn|arXiv (Cornell University)|Aug 23, 2022

Text and Document Classification Technologies被引用数 4

ひとこと要約

本稿では、低資源言語向けのビテキストマイニングを改善するために、対照的学習を用いて複数のネガティブランク付け損失で文埋め込みモデルをファインチューニングする手法を提案する。この手法は、高棉語とPashtoにおいて最先端の結果を達成し、従来手法と比較してNMTのBLEUスコアを1点以上向上させ、向上した多言語文表現を用いた優れた文のアラインメントおよびフィルタリング性能を示している。

ABSTRACT

Mining high-quality bitexts for low-resource languages is challenging. This paper shows that sentence representation of language models fine-tuned with multiple negatives ranking loss, a contrastive objective, helps retrieve clean bitexts. Experiments show that parallel data mined from our approach substantially outperform the previous state-of-the-art method on low resource languages Khmer and Pashto.

研究の動機と目的

• 並列データが乏しい低資源言語、例えば高棉語やPashto向けに、ビテキストマイニングの品質を向上させること。
• ヒューリスティック的または最適でない文表現に依存する、既存の文アラインメントおよびフィルタリングパイプラインの限界を是正すること。
• 多言語文埋め込みを用いた対照的学習に基づき、文のペアをアラインメントおよびフィルタリングするための強固でスケーラブルな手法を開発すること。
• 低資源言語ペア向けに、WMT 2020の並列コーパスフィルタリングタスクで既存の最先端システムを上回ること。
• 他の言語ペアへも応用可能で、再現および拡張が可能な、公開用のツールキットを提供すること。

提案手法

• 文埋め込みモデル（SBERT）を、複数のネガティブランク付け（MNR）損失を用いてファインチューニングし、改善された多言語文表現を学習する。
• アラインされた文ペアからポジティブペアを構築し、ターゲット言語側の隣接文（ウィンドウサイズW）およびランダムサンプル（R）を用いてネガティブペアを構成する。
• MNR損失を最適化し、ポジティブペア間のコサイン類似度を最大化するとともに、ネガティブペアとの類似度を最小化する。
• ファインチューニング済みのSBERT埋め込みを、Vecalignにおける文アラインメントのスコア関数およびマージンベースのフィルタリング機構におけるノイズの高いペアの削除に用いる。
• フィルタリング段階で、Faissを用いて効率的なk近傍探索を実行し、比に基づくマージン関数を用いて文ペアの順序付けを行う。
• ParaCrawlの文書レベルでアラインされたコーパスを用いて、WMT 2020の評価プロトコルに従い、システムを学習および評価する。

実験結果

リサーチクエスチョン

• RQ1 対照的ファインチューニングを用いた文埋め込みモデルは、高棉語やPashtoのような低資源言語向けに、ビテキストマイニングの品質を向上させることができるか？
• RQ2 MNRでファインチューニングされたSBERTは、LASERや他の最先端の文表現と比較して、文アラインメントおよびフィルタリングタスクでどのように性能を発揮するか？
• RQ3 対照的目的関数を用いることで、ノイズの多いウェブクロールドされた単言語コーパスから並列データをマイニングする際、より優れた一般化能力および耐性が得られるか？
• RQ4 文表現の選択が、低資源環境下での下流のNMT性能にどの程度の影響を及ぼすか？
• RQ5 1つのファインチューニング済みモデルが、より高い効率と正確性を実現しながら、同時にアラインメントとフィルタリングの両方のタスクを効果的に処理できるか？

主な発見

• MNR損失でファインチューニングされたSBERTモデルは、高棉語で11.83、Pashtoで10.43のBLEUスコアを達成し、以前の最先端システムを1点以上上回った。
• SBERT-ALIGNとSBERT-FILTERの組み合わせが、すべての手法の中で最高のBLEUスコアを記録し、ファインチューニング済み表現がアラインメントおよびフィルタリングの両方で有効であることを示した。
• LASERベースのアラインメントおよびフィルタリングよりも約2 BLEUポイントの向上を達成し、NMT性能の顕著な改善を示した。
• HUAWEI-FILTER手法はフィルタリング手法の中で最も優れていたが、SBERTベースのアラインメントおよびフィルタリングはLASERベースの手法を大きく上回った。
• ファインチューニング済みのSBERTモデルは、正しくアラインされたペアとノイズの高いペアを識別する能力に優れており、特に曖昧な語句や未知語（OOV）を含む困難なケースにおいて、正しくアラインされたペアでは高い類似度スコア、誤ったペアでは低いスコアを示した。
• このアプローチはスケーラブルで効率的であり、事前に計算された埋め込みとFaissベースの近傍探索を用いることで、数百万の文ペアに対する高速な推論が可能となった。