[論文レビュー] Offline bilingual word vectors, orthogonal transformations and the inverted softmax

Samuel Smith, David H. P. Turban+2 more|arXiv (Cornell University)|Feb 13, 2017

Natural Language Processing Techniques参考文献 17被引用数 297

ひとこと要約

この論文は、オフラインのバイリンガル語彙マッピングは直交であり、SVDを用いて得られるべきであることを証明し、翻訳を改善するために反転ソフトマックスを導入し、疑似辞書や文レベルの検索を含む堅牢な結果を示す。

ABSTRACT

Usually bilingual word vectors are trained "online". Mikolov et al. showed they can also be found "offline", whereby two pre-trained embeddings are aligned with a linear transformation, using dictionaries compiled from expert knowledge. In this work, we prove that the linear transformation between two spaces should be orthogonal. This transformation can be obtained using the singular value decomposition. We introduce a novel "inverted softmax" for identifying translation pairs, with which we improve the precision @1 of Mikolov's original mapping from 34% to 43%, when translating a test set composed of both common and rare English words into Italian. Orthogonal transformations are more robust to noise, enabling us to learn the transformation without expert bilingual signal by constructing a "pseudo-dictionary" from the identical character strings which appear in both languages, achieving 40% precision on the same test set. Finally, we extend our method to retrieve the true translations of English sentences from a corpus of 200k Italian sentences with a precision @1 of 68%.

研究の動機と目的

• バイリンガル語空間間の線形マップは直交であり、SVDを通じて得られるべきであることを示す。
• 翻訳でハブネスを緩和するために反転ソフトマックスを導入する。
• 同一文字列からの疑似辞書や整列済み文を活用して頑健性を示す。
• 大規模なバイリンガルコーパスで文レベルの翻訳と検索にこのアプローチを拡張する。

提案手法

• 辞書対から直交変換 O を学習することでバイリンガル語空間の整列をSVDとして定式化する: M = Y_D^T X_D = U Σ V^T, ここで O = U V^T。
• 類似度行列 S = Y O X^T を定義し、辞書対を用いて y_i^T O x_i を最大化するようマッピングを最適化する。
• ハブネスを低減するために、インバータソフトマックス P_{j→i} = e^{β S_{ij}} / (α_j Σ_n e^{β S_{in}}) を導入する。
• トレーニング辞書上の対数尤度を最大化することで β を学習する。
• 変換空間での最近傍法による翻訳を計算し、小さな特異値に対応する成分を落とすことで次元削減を適用することもできる。
• 言語間で全く同一の文字列から作成した疑似辞書や、Europarl に整列された文から弱いバイリンガル信号として活用する。
• 単語ベクトルを合計して正規化することで簡易な文ベクトルを構築し、語句辞書を介したフレーズ辞書に対してSVDを適用して、単語翻訳と文翻訳を可能にする。

実験結果

リサーチクエスチョン

• RQ1 オフライン設定で、単言語間の単語ベクトルを整列させるには線形変換が直交で十分か。
• RQ2 反転ソフトマックスはハブネスを低減し、バイリンガルマッピングの翻訳精度を改善するか。
• RQ3 弱いまたはゼロのバイリンガル信号（疑似辞書）や同一文字列を用いた場合、直交整列はどれだけ頑健か。
• RQ4 語句ベクトルから導出した簡易文ベクトルに同じ整列を適用して文レベルの翻訳を実現できるか。

主な発見

• 直交変換（1回のSVDステップによる）は、オフライン設定でバイリンガル語空間を最適に整列させる。
• 反転ソフトマックスは元のマッピングより翻訳精度を大幅に改善する（例: 英語→イタリア語、5k 辞書での @1 が 34% から 43% へ）。
• 文字が同一の文字列を疑似辞書として使用すると、専門のバイリンガル信号なしで英語→イタリア語の @1 精度が 40% を示す。
• 英語からイタリア語への文の翻訳は、200k のイタリア語候補から正しい翻訳をretrievalすることで約 68% の @1 精度に達する。
• フレーズ辞書として Europarl に整列された文を用いると、英語→イタリア語で 42.8% @1、イタリア語→英語で 37.5% @1 の結果を得られ、単語辞書の結果と同等程度である。
• 本手法は大規模な候補集合から英語文の真の翻訳を高精度で検索することをサポートし、特定の設定で最大 68% @1 の精度に達する。