[論文レビュー] Robust Cross-lingual Embeddings from Parallel Sentences

Ali Reza Sabet, Prakhar Gupta+3 more|arXiv (Cornell University)|Dec 28, 2019

Topic Modeling参考文献 39被引用数 12

ひとこと要約

この論文では、平行文書コーパスを用いて、言語間の単語および文の埋め込みを同時に学習する、Sent2vecモデルの二言語版であるBi-Sent2vecを提案する。単語および言語間の両方の目的関数で訓練することで、特に類似度の低い言語対において、言語間文検索で最先端の性能を達成するとともに、Laserのような深層RNNモデルと同等またはそれを上回る性能を示しながら、計算コストを著しく低減した。

ABSTRACT

Recent advances in cross-lingual word embeddings have primarily relied on mapping-based methods, which project pretrained word embeddings from different languages into a shared space through a linear transformation. However, these approaches assume word embedding spaces are isomorphic between different languages, which has been shown not to hold in practice (Søgaard et al., 2018), and fundamentally limits their performance. This motivates investigating joint learning methods which can overcome this impediment, by simultaneously learning embeddings across languages via a cross-lingual term in the training objective. We propose a bilingual extension of the CBOW method which leverages sentence-aligned corpora to obtain robust cross-lingual word and sentence representations. Our approach significantly improves cross-lingual sentence retrieval performance over all other approaches while maintaining parity with the current state-of-the-art methods on word-translation. It also achieves parity with a deep RNN method on a zero-shot cross-lingual document classification task, requiring far fewer computational resources for training and inference. As an additional advantage, our bilingual method leads to a much more pronounced improvement in the the quality of monolingual word vectors compared to other competing methods.

研究の動機と目的

• 言語間の埋め込み空間が同型であると仮定する線形マッピングベースの言語間単語埋め込み手法の限界を克服すること。この仮定は実際にはしばしば破綻する。
• 並行文データを用いて言語間で統合的に埋め込みを学習することで、低リソース言語や類似度の低い言語対の言語間転送性能を向上させること。
• 二言語の文脈が単語埋め込みを豊かにするという洞察に基づき、言語間の監視情報を統合的に用いることで、単語表現の質を向上させること。
• Laserのような深層ニューラルネットワークベースの文エンコーダーの計算コストが著しく低い代替手法を開発し、デバイス内での実装に適したものとすること。
• 統合的言語間表現学習において、文レベルの学習目的関数が固定ウィンドウの文脈モデルを上回るかを調査すること。

提案手法

• 文対応の平行コーパスを用いて、単語および言語間の予測目的関数を同時に学習することで、モノリンガルSent2vecモデルを二言語設定に拡張する。
• 両言語の語および文が共通の埋め込み空間に投影されるように設計し、モデルが両言語の文脈から単語を同時に予測できるように訓練する。
• モノリンガルおよび言語間の両文脈に対してネガティブサンプリング損失関数を用い、言語間の成分が対応する文表現の整合性を強制する。
• 表現の質を向上させるためにトレーニング時にn-gram特徴（例：バイグラム）を活用するが、類似度の低い言語対では性能が低下することが判明した。
• モノリンガルおよび言語間の目的関数を組み合わせた重み付き損失関数を適用し、訓練の進行に応じて重みを動的に調整することで、性能の飽和を回避する。
• 低遅延推論を可能にするために、単語ベクトルの平均化を用いたシンプルなbag-of-wordsアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 文対応の平行コーパスを用いた統合的言語間埋め込み学習は、同型な埋め込み空間を仮定する線形マッピングベースの手法を上回ることができるか？
• RQ2 並行文を用いた学習は、単語のモノリンガル事前学習のみで達成可能な水準を上回り、単語表現の質を顕著に向上させるか？
• RQ3 言語のタイプ的距離が異なる言語対において、統合的学習手法の性能はどのようにスケーリングするか。特に類似度の低い言語対においては？
• RQ4 Sent2vecのようなシンプルで再帰的でないモデルが、Laserのような深層RNNベースのモデルと同等の性能をゼロショット文書分類タスクで達成できるか？
• RQ5 n-gram特徴およびコーパスサイズは、統合的言語間学習のロバスト性とスケーラビリティにどのような影響を及ぼすか？

主な発見

• Bi-Sent2vecは、類似度の低い言語対において特に顕著に、言語間文検索で最先端の性能を達成し、マッピングベースおよび統合学習モデルを含むすべての競合手法を上回った。
• 単語類似度ベンチマーク（SimLex-999およびWS-353）において、Bi-Sent2vecはSent2vecおよびFastTextを著しく上回ったが、FastTextより小さいモノリンガルコーパスで学習されているにもかかわらずである。
• 言語間単語検索において、Bi-Sent2vecは現在の最先端手法と同等の性能を維持し、多様な言語対にわたる頑健性を示した。
• MLDocのゼロショット文書分類タスクにおいて、Bi-Sent2vecは平均77.8％の正答率を達成し、Laserの77.3％をわずかに上回ったが、これははるかにシンプルで再帰的でないモデルであるにもかかわらずである。
• Bi-Sent2vecは、Laserと比較して、学習および推論の両方で計算コストを1桁低減した。これは、デバイス内アプリケーションに適したものである。
• n-gramの使用は単語表現の質を向上させるが、類似度の低い言語対では言語間性能を低下させることが判明した。これは構造的複雑さのトレードオフを示唆している。