[論文レビュー] A Novel Bilingual Word Embedding Method for Lexical Translation Using Bilingual Sense Clique

Rui Wang, Hai Zhao+4 more|arXiv (Cornell University)|Jul 29, 2016

Natural Language Processing Techniques参考文献 68被引用数 5

ひとこと要約

本稿では、平行コーパス上のポイントワイズ相互情報量（PMI）に基づくグラフから導出される二国語的意味クライク（BSC）を用いて、別個の投影ステップを必要とせずに言語間で共有される意味的ユニットを捉える、新しい二国語単語埋め込み手法を提案する。BSC-語関係に対する次元削減（PCA、CA、またはNN）を適用することで、語彙翻訳タスクで最先端の性能を達成し、従来の二国語単語埋め込み手法を上回る。

ABSTRACT

Most of the existing methods for bilingual word embedding only consider shallow context or simple co-occurrence information. In this paper, we propose a latent bilingual sense unit (Bilingual Sense Clique, BSC), which is derived from a maximum complete sub-graph of pointwise mutual information based graph over bilingual corpus. In this way, we treat source and target words equally and a separated bilingual projection processing that have to be used in most existing works is not necessary any more. Several dimension reduction methods are evaluated to summarize the BSC-word relationship. The proposed method is evaluated on bilingual lexicon translation tasks and empirical results show that bilingual sense embedding methods outperform existing bilingual word embedding methods.

研究の動機と目的

• 既存の二国語単語埋め込み手法が浅い共起性や別個の投影ステップに依存するという制限を解決すること。
• 源言語と標的言語の両方で共通する意味的ユニット（意味クライク）を特定することで、言語間の意味をモデル化すること。
• 源言語と標的言語の語を対称的に扱うことで、別個の二国語投影を不要にする。
• BSCに基づく埋め込みの語彙翻訳タスクへの有効性を評価すること。
• BSC-語関係を要約するための次元削減手法（PCA、CA、NN）の比較を行うこと。

提案手法

• 平行コーパスから二国語的PMIグラフを構築し、ノードを語、エッジの重みを共起のポイントワイズ相互情報量に基づく。
• PMIグラフから最大クリークを抽出し、二国語的意味クライク（BSC）とする。これにより、言語間で共有される意味的ユニットを表現する。
• 低重みエッジをフィルタリングし、スパースなノードを除去することで、計算複雑性を低減し、クリークの品質を向上させる。
• 次元削減手法—主成分分析（PCA）、対応分析（CA）、またはニューラルネットワーク（NN）—を用いて、BSC-語インシデント行列を低次元ベクトルに要約する。
• 得られたベクトルを語彙翻訳タスク用の二国語単語埋め込みとして使用する。
• 標準的な二国語語彙誘導ベンチマークで埋め込みを学習および評価する。

実験結果

リサーチクエスチョン

• RQ1 二国語的PMIグラフから共同で学習された意味的ユニットが、言語間の単語表現を改善できるか？
• RQ2 別個の二国語投影ステップを排除することで、語彙翻訳タスクにおける性能が向上するか？
• RQ3 PCA、CA、NNといった異なる次元削減手法は、BSC-語関係の要約においてどのように性能を発揮するか？
• RQ4 BSCに基づく埋め込みは、既存の二国語単語埋め込み手法を語彙翻訳タスクで上回れるか？
• RQ5 局所的共起モデルと比較して、グローバルなグラフ構造（クリーク）を用いることで、言語間の意味をどれほど効果的に捉えられるか？

主な発見

• 提案手法のBSCベースのアプローチは、語彙翻訳タスクにおいて既存の二国語単語埋め込み手法を上回り、優れた性能を示した。
• BSC+PCAおよびBSC+CAは、BSC+NNよりも訓練効率が良く、CPU時間も短く抑えられつつ、良好な性能を維持した。
• 対称的で共有される意味的ユニット（BSC）を用いることで、別個の二国語投影ステップの必要性が排除され、パイプラインが簡素化された。
• 局所的共起性ではなく、グローバルなグラフ構造と意味レベルの意味を活用することで、最先端の結果が達成された。
• PCAおよびCAによる次元削減は、性能と計算コストのバランスが良く、NNベースの削減はより時間がかかるが、潜在的により表現力に優れている。
• 外部の二国語語彙や同義語リソースを必要とせず、単語の意味ベースのモデルを二国語設定に拡張できる。