[論文レビュー] An Iterative Closest Point Method for Unsupervised Word Translation.

Yedid Hoshen, Lior Wolf|arXiv (Cornell University)|Jan 18, 2018

Generative Adversarial Networks and Image Synthesis参考文献 16被引用数 21

ひとこと要約

本論文は、2次モーメントの一致と反復的精錬を用いて単語埋め込みを整列させる、単純で線形の反復的手法を提案する。この手法は、最先端の敵対的ニューラルネットワークと同等またはそれ以上の性能を達成しており、効率性、解釈可能性、安定性の面で優位性を示す。

ABSTRACT

Unsupervised word translation from non-parallel inter-lingual corpora has attracted much research interest. Very recently, neural network methods trained with adversarial loss functions achieved high accuracy on this task. Despite the impressive success of the recent techniques, they suffer from the typical drawbacks of generative adversarial models: sensitivity to hyper-parameters, long training time and lack of interpretability. In this paper, we make the observation that two sufficiently similar distributions can be aligned correctly with iterative matching methods. We present a novel method that first aligns the second moment of the word distributions of the two languages and then iteratively refines the alignment. Our simple linear method is able to achieve better or equal performance to recent state-of-the-art deep adversarial approaches and typically does a little better than the supervised baseline. Our method is also efficient, easy to parallelize and interpretable.

研究の動機と目的

• 敵対的ニューラルネットワークが非教師あり単語翻訳に課す限界、特にハイパーパramータへの感受性と長時間の学習時間を是正すること。
• 複雑な深層学習アーキテクチャを用いずに、類似した単語分布の反復的マッチングが、頑健な整列を達成できるかを検討すること。
• 非並列な単語コーパス間の整列に対して、効率的で解釈可能かつ効果的な手法を開発すること。
• 線形で2次モーメントに基づく整列が、複雑な最先端モデルと同等またはそれを上回る性能を達成できるかを実証すること。

提案手法

• まず、元言語および目的言語の単語埋め込みの共分散行列を計算する。
• 線形変換を用いて、2つの言語分布の2次モーメント（共分散行列）を整列させる。
• 更新された整列済み埋め込みに基づいて変換を再計算する反復的精錬ステップにより、整列を精錬する。
• 各反復で、線形で微分可能な方法で分布の乖離を最小化することで、単語ベクトル間の対応を改善する。
• 標準正規化で初期化し、収束するまでまたは固定回数の反復を繰り返す。
• 敵対的学習を避け、識別器や複雑な損失関数を必要とせず、幾何的整列原理に依存する。

実験結果

リサーチクエスチョン

• RQ1 2次モーメント整列に基づく単純な線形手法が、非教師あり単語翻訳で競争力のある性能を達成できるか？
• RQ2 整列の反復的精錬が、1ステップ変換よりも顕著な改善をもたらすか？
• RQ3 本手法は、最先端の敵対的ニューラルネットワークと比較して、正確性と効率性の両面で優れているか？
• RQ4 非敵対的で解釈可能な手法が、ゼロショット設定で教師ありベースラインをどれほど上回れるか？
• RQ5 本手法はハイパーパramータの選択に対して頑健で、大規模な単語埋め込み空間にもスケーラブルか？

主な発見

• 提案手法は、標準的な単語翻訳ベンチマークにおいて、最近の最先端の敵対的モデルと同等またはそれ以上の性能を達成した。
• GANベースのアプローチと比較して、学習時間を顕著に短縮し、ハイパーパramータへの感受性も低減した。
• 線形変換と幾何的原理に明示的に依存するため、深層ニューラルネットワークよりも解釈がしやすい。
• 一部の設定では教師ありベースラインを上回り、強力なゼロショット一般化能力を示した。
• 反復的精錬プロセスにより、初期の2次モーメント整列から一貫した改善が得られた。
• 線形的かつ再帰的でない構造のため、並列処理が容易であり、大規模データセットへの効率的スケーリングが可能である。