[論文レビュー] Non-Adversarial Unsupervised Word Translation

Yedid Hoshen, Lior Wolf|arXiv (Cornell University)|Jan 18, 2018

Natural Language Processing Techniques参考文献 27被引用数 15

ひとこと要約

本論文は、2次モーメントの一致と段階的最適化による適合を介して言語間の単語埋め込みを整列させる、敵対的でない反復的手法を提案する。この手法は、生成的敵対的ネットワーク（GAN）ベースの最先端手法を上回り、CPU上で効率的に実行され、敵対的訓練や広範なハイパーパrameterチューニングを必要とせずに高い精度を達成する。

ABSTRACT

Unsupervised word translation from non-parallel inter-lingual corpora has attracted much research interest. Very recently, neural network methods trained with adversarial loss functions achieved high accuracy on this task. Despite the impressive success of the recent techniques, they suffer from the typical drawbacks of generative adversarial models: sensitivity to hyper-parameters, long training time and lack of interpretability. In this paper, we make the observation that two sufficiently similar distributions can be aligned correctly with iterative matching methods. We present a novel method that first aligns the second moment of the word distributions of the two languages and then iteratively refines the alignment. Extensive experiments on word translation of European and Non-European languages show that our method achieves better performance than recent state-of-the-art deep adversarial approaches and is competitive with the supervised baseline. It is also efficient, easy to parallelize on CPU and interpretable.

研究の動機と目的

• 生成的敵対的ネットワーク（GAN）ベースの自己教師付き単語翻訳の限界、すなわちハイパーパrameterへの感受性、長時間の学習時間、解釈不能性を是正すること。
• 高精度な自己教師付き単語翻訳に敵対的訓練が必要かどうかを検討すること。
• クロスリンガル単語埋め込み整列のための、より卉簡素で効率的かつ解釈可能な深層生成的敵対的モデルの代替手法を開発すること。
• 並列コーパスを必要とせずに、ヨーロッパ圏および非ヨーロッパ圏、低リソース言語を含む多様な言語対において性能を向上させること。

提案手法

• 本手法は、主成分分析（PCA）とプロクラステス変換を用いて、2つの言語の単語埋め込みの2次モーメント（平均と共分散）を整列させることで開始する。
• 次に、反復的最近接点（ICP）風の適合プロセスを適用し、最近隣接する単語ペアの一致とアフィン変換の更新を交互に繰り返す。
• 収束性の向上、特に距離の遠い言語対において、ランダムなミニバッチ順序付けと複数回の独立実行による確率的要因を導入する。
• 複数の確率的解から、正解語彙が存在しない状況でも最良の性能を示す解を選択するために、再構成に基づく自己教師付き基準を用いる。
• 安定性と収束性の向上のため、PCAによる次元削減を行い、上位の主成分のみを保持する。
• 最終的な変換は、段階的なプロセスを通じて学習される：初期の共分散一致、バッチ単位での更新を伴う反復的適合、および自己教師付き再構成損失による選択。

実験結果

リサーチクエスチョン

• RQ1 敵対的でない反復的手法は、最先端のGANベース手法と同等またはそれ以上の性能を達成できるか？
• RQ2 高品質なクロスリンガル単語埋め込み整列には敵対的訓練が必要か？
• RQ3 バッチ順序付けと複数回の実行による確率的要因の導入は、距離の遠い言語対における収束性と性能にどのように影響するか？
• RQ4 2次モーメント一致と反復的適合に基づく単純で解釈可能な手法は、複雑なGANアーキテクチャを上回ることができるか？

主な発見

• 提案手法は、英語–アラビア語および英語–ロシア語を含むヨーロッパ圏および非ヨーロッパ圏の言語対において、最近のSOTA GANベース手法を上回る単語翻訳精度を達成した。
• 英語–スペイン語および英語–フランス語対において、事前微調整および事後微調整の両評価設定で、GANベースのベースラインを上回った。
• 英語–アラビア語および英語–イタリア語のような困難な言語対において、本手法はProcrustes-ICPが500回の実行すべてで収束に失敗する中、著しく高い収束率を示した。
• 確率的PCAとランダムなバッチ順序付けの両方を用いることで、収束率が向上し、特に距離の遠い言語において、探索のための確率的要因の重要性が示された。
• 本手法はハイパーパrameterの選択に対して頑健であり、複数回の実行において一貫した性能を示し、最小限のチューニングで十分であった。
• 本手法は非常に効率的であり、CPU上で完全に並列化可能であり、GPUリソースのない研究ラボにもアクセス可能である。