[論文レビュー] Bilingual Lexicon Induction with Semi-supervision in Non-Isometric Embedding Spaces

Barun Patra, Joel Ruben Antony Moniz+3 more|arXiv (Cornell University)|Aug 19, 2019

Natural Language Processing Techniques参考文献 25被引用数 5

ひとこと要約

本稿では、埋め込み空間間の直交マッピングにおける強い等長性仮定を緩和するために、新規のハブネスフィルタリング技術と教師ありアライメント、教師なし分布マッチング、およびバックトランスレーション損失の共同最適化を用いる半教師あり二国語語彙誘導手法BLISSを提案する。BLISSはMUSEベンチマークの18の言語対のうち15で最先端性能を達成し、特に等長性が成立しない言語対（語源的距離が遠い）において顕著な優位性を示す。

ABSTRACT

Recent work on bilingual lexicon induction (BLI) has frequently depended either on aligned bilingual lexicons or on distribution matching, often with an assumption about the isometry of the two spaces. We propose a technique to quantitatively estimate this assumption of the isometry between two embedding spaces and empirically show that this assumption weakens as the languages in question become increasingly etymologically distant. We then propose Bilingual Lexicon Induction with Semi-Supervision (BLISS) --- a semi-supervised approach that relaxes the isometric assumption while leveraging both limited aligned bilingual lexicons and a larger set of unaligned word embeddings, as well as a novel hubness filtering technique. Our proposed method obtains state of the art results on 15 of 18 language pairs on the MUSE dataset, and does particularly well when the embedding spaces don't appear to be isometric. In addition, we also show that adding supervision stabilizes the learning procedure, and is effective even with minimal supervision.

研究の動機と目的

• 二国語語彙埋め込み空間における直交マッピングの背後にある等長性仮定の妥当性を検証すること。
• 語源的・構造的距離が遠い言語間において、完全に教師ありまたは教師なしのBLI手法に起因する限界を是正すること。
• 限定的なアラインされた語彙辞書と大規模な非アラインド埋め込みを活用して、耐性と性能を向上させる半教師ありフレームワークを開発すること。
• Gromov-Hausdorff距離を用いて非等長埋め込み空間における等長性の失敗を定量化し、実験的に検証すること。
• 最小限の教師信号が、埋め込み品質が低いか空間が大きく離れている場合に、訓練の安定性と収束性を向上させることを示すこと。

提案手法

• ベッチャー・リプスフィルトレーションの持久図間のボトルネック距離を用いて近似するGromov-Hausdorff（GH）距離を用いて、埋め込み空間間の等長性を定量化する新規な手法を提案する。
• 教師あり埋め込みアライメント、CSLSによる教師なし分布マッチング、および弱い直交性を強制するバックトランスレーション損失を共同で最適化する、半教師ありフレームワークBLISSを導入する。
• 埋め込み空間における高次数の近隣ノードの影響を低減する新規のハブネスフィルタリング技術を採用し、最近傍探索の信頼性を向上させる。
• 固定されたβ係数に依存する従来手法とは異なり、データ駆動的に直交性の度合いを柔軟に制御できる自己符号化損失を用いる。
• GANベースの訓練設定において、生成ネットワークの初期化に平均中心化および恒等写像またはランダム直交行列を適用する。
• コサイン類似度を特徴関数として用い、ハブネス閾値を20に設定したGANベースの訓練手順を採用する。

実験結果

リサーチクエスチョン

• RQ1 語源的距離が遠い言語対において、二国語埋め込み空間間の等長性仮定はどの程度崩壊するのか？
• RQ2 等長性仮定が破綻する状況において、半教師ありアプローチが二国語語彙誘導性能を向上させられるか？
• RQ3 最小限の教師信号が、リソースが限られたまたは変動が大きい設定におけるBLIモデルの安定性と収束性に与える影響はいかほどか？
• RQ4 ハブネスフィルタリングは、多義語や対義語に起因する誤りタイプを顕著に低減するか？
• RQ5 自己符号化損失によるデータ駆動的直交性制約は、固定β投影法に比べ、耐性と性能の面で優れているか？

主な発見

• BLISSはMUSEベンチマークの18の言語対のうち15で最先端性能を達成し、特に語源的距離が遠い対（例：en-zh および en-ru）において顕著な向上を示す。
• Gromov-Hausdorff距離分析により、言語対が遠く離れている場合に等長性が著しく崩壊することが確認され、en-zhでは171.1、en-ruでは102.5のGH距離を示した。
• わずかなアラインド語彙辞書（シード辞書）の追加により、教師なしベースラインが失敗する状況でも訓練が安定化し、収束が可能になる。特に埋め込み品質が低い場合に顕著である。
• BLISSにおける自己符号化損失は、βのチューニングに依存せず、異なる言語対で一貫した性能を発揮する。これに対して、β投影法はβ値に極めて敏感である。
• 誤り分析から、多義語と対義語が主な誤り要因であることが判明したが、BLISSはハブネスフィルタリングと共同最適化により、より優れた近隣選択を実現し、誤りを低減した。
• 同じ量の教師信号を用いた場合、BLISSは教師ありおよび教師なしベースラインを上回り、弱教師信号と教師なし分布マッチングの組み合わせの有効性を示した。