[論文レビュー] L3Cube-IndicSBERT: A simple approach for learning cross-lingual sentence representations using multilingual BERT

Samruddhi Deode, Janhavi Gadre+3 more|arXiv (Cornell University)|Apr 22, 2023

Natural Language Processing Techniques被引用数 5

ひとこと要約

本稿では、翻訳されたNLIおよびSTSデータセットから得た合成単語対訳語語彙を用いて、アンタッチャブルな多言語Bertを微調整することで、10種類のインド言語向けの多言語文埋め込みモデルL3Cube-IndicSBERTを提案する。この手法は、クロスリンガルおよびモノリンガルな意味的類似度タスクで最先端のパフォーマンスを達成し、LaBSE や paraphrase-multilingual-mpnet-base-v2 などのモデルを上回る。

ABSTRACT

The multilingual Sentence-BERT (SBERT) models map different languages to common representation space and are useful for cross-language similarity and mining tasks. We propose a simple yet effective approach to convert vanilla multilingual BERT models into multilingual sentence BERT models using synthetic corpus. We simply aggregate translated NLI or STS datasets of the low-resource target languages together and perform SBERT-like fine-tuning of the vanilla multilingual BERT model. We show that multilingual BERT models are inherent cross-lingual learners and this simple baseline fine-tuning approach without explicit cross-lingual training yields exceptional cross-lingual properties. We show the efficacy of our approach on 10 major Indic languages and also show the applicability of our approach to non-Indic languages German and French. Using this approach, we further present L3Cube-IndicSBERT, the first multilingual sentence representation model specifically for Indian languages Hindi, Marathi, Kannada, Telugu, Malayalam, Tamil, Gujarati, Odia, Bengali, and Punjabi. The IndicSBERT exhibits strong cross-lingual capabilities and performs significantly better than alternatives like LaBSE, LASER, and paraphrase-multilingual-mpnet-base-v2 on Indic cross-lingual and monolingual sentence similarity tasks. We also release monolingual SBERT models for each of the languages and show that IndicSBERT performs competitively with its monolingual counterparts. These models have been evaluated using embedding similarity scores and classification accuracy.

研究の動機と目的

• 低リソースのインド地方言語向けの高品質な多言語文埋め込みモデルの不足を解消すること。
• 並列単語対訳語語彙や複雑なトレーニング方式を必要としない、強固でスケーラブルなアプローチを確立し、クロスリンガル転送を向上させること。
• 生成された翻訳済み単語対訳語STSおよびNLIデータに対するシンプルな微調整が、アンタッチャブルな多言語Bertのクロスリンガル能力を顕著に向上させることを示すこと。
• 10種類の主要インド言語および英語向けに、多言語およびモノリンガルなSBERTモデルをリリースし、低リソース環境におけるNLP研究および応用を支援すること。

提案手法

• 10種類のインド言語向けに、翻訳済みNLIおよびSTSデータセットの合成コーパスを用いて、事前学習済みの多言語Bert（MuRIL）を微調整する。
• 意味的テキスト類似度を最適化する文埋め込みを学習するため、SBERTで一般的なシアンセイネットワークアーキテクチャを適用する。
• 微調整中にコントラスト損失関数を用い、意味的に類似した文のペアが共有ベクトル空間内で近づくように促進する。
• 複数のターゲット言語からの翻訳済み単語対訳語データを統合し、1つの混合トレーニングセットを作成することで、統合的クロスリンガル学習を可能にする。
• 多言語Bertの内蔵されたクロスリンガル能力を活用し、明示的なクロスリンガル事前学習を実施せずに、最小限のタスク固有の微調整を適用する。
• 多言語およびモノリンガルなSBERTバージョンを両方訓練し、多言語モデルは10種類のインド言語および英語の全言語を統一エンコーダーとして使用する。

実験結果

リサーチクエスチョン

• RQ1 生成された単語対訳語翻訳データに対するシンプルな微調整戦略が、アンタッチャブルな多言語Bertのクロスリンガルパフォーマンスを顕著に向上させることができるか？
• RQ2 得られた多言語SBERTモデル（L3Cube-IndicSBERT）のパフォーマンスは、LaBSE や paraphrase-multilingual-mpnet-base-v2 といった既存の最先端多言語モデルと比較して、クロスリンガル意味的類似度タスクでどうなるか？
• RQ3 生成されたデータによる微調整は、実世界の下流NLPタスク（例：テキスト分類）にどの程度一般化可能か？
• RQ4 同じ微調整アプローチにより、個々のインド言語向けに競争力のあるモノリンガルSBERTモデルを生成できるか、かつそれらがアンタッチャブルBertを上回るか？
• RQ5 このアプローチは、ヒンディー語やフランス語など非インディック言語に対しても有効であるか。これは、インド言語にとどまらず、より広範な適用可能性を示唆する。

主な発見

• L3Cube-IndicSBERTは、10種類のインド言語でクロスリンガル意味的テキスト類似度（STS）タスクにおいて最先端のパフォーマンスを達成し、平均的にLaBSE や paraphrase-multilingual-mpnet-base-v2 を上回る。
• 多言語モデルはクロスリンガルSTSタスクで平均0.71のSTSスコアを達成し、ヒンディー語（0.82）およびベンガル語（0.82）では特に優れたパフォーマンスを示す。
• 各インド言語向けのモノリンガルSBERTバージョンは、モノリンガルSTSベンチマークにおける埋め込み類似度の観点で、それに対応するアンタッチャブルBertモデルを上回る。
• 実世界のテキスト分類データセットでは、微調整済みモデルが良好に一般化され、未観測だが関連するタスクへの強いゼロショット転送能力を示す。
• オリヤ語やマラヤーラム語といった低リソース言語に対しても、STSスコアがそれぞれ0.70および0.74と高いパフォーマンスを達成しており、強力な耐障害性を示す。
• このアプローチは非インディック言語にも適用可能である：ドイツ語およびフランス語でも競争力のある結果が得られ、この手法の一般化可能性が裏付けられる。