[論文レビュー] Leveraging Monolingual Data for Crosslingual Compositional Word Representations

Hubert Soyer, Pontus Stenetorp+1 more|arXiv (Cornell University)|Dec 19, 2014

Natural Language Processing Techniques被引用数 25

ひとこと要約

本稿では、二語文対応付けと、単語レベルの意味的整合性を活用する新規の単語語彙的条件を組み合わせることで、構成的で多言語に跨る単語表現を学習するニューラルネットワークアーキテクチャを提案する。この手法は、大規模な語彙とデータセットにも効率的にスケーリングでき、文書分類タスクにおいて最先端の結果を達成し、92.7%（EN→DE）および84.4%（DE→EN）の正確度を達成。後者では33.0%の誤差低減を実現した。

ABSTRACT

In this work, we present a novel neural network based architecture for inducing compositional crosslingual word representations. Unlike previously proposed methods, our method fulfills the following three criteria; it constrains the word-level representations to be compositional, it is capable of leveraging both bilingual and monolingual data, and it is scalable to large vocabularies and large quantities of data. The key component of our approach is what we refer to as a monolingual inclusion criterion, that exploits the observation that phrases are more closely semantically related to their sub-phrases than to other randomly sampled phrases. We evaluate our method on a well-established crosslingual document classification task and achieve results that are either comparable, or greatly improve upon previous state-of-the-art methods. Concretely, our method reaches a level of 92.7% and 84.4% accuracy for the English to German and German to English sub-tasks respectively. The former advances the state of the art by 0.9% points of accuracy, the latter is an absolute improvement upon the previous state of the art by 7.7% points of accuracy and an improvement of 33.0% in error reduction.

研究の動機と目的

• 単語語彙的表現を強制しない既存手法の限界を是正すること。
• 既存の多言語表現学習手法におけるスケーラビリティと語彙サイズの問題を克服すること。
• 二語文の監視に依存せず、単語語彙的データを効果的に多言語表現学習に統合すること。
• 大規模な単語語彙的コーパス上で効率的な学習を可能にしつつ、低リソース翻訳および分類タスクのパフォーマンスを維持すること。
• 合成関数に依存しない方法を提供することで、フレーズ意味のより複雑なモデリングを可能にすること。

提案手法

• フレーズがその部分フレーズよりも意味的に近いように促進する単語語彙的包含条件を導入し、構成的構造を促進する。
• 二語文対応付けされたコーパスと単語語彙的コーパスの両方を用いてモデルを訓練し、二語文対応付けのコントラスト学習目的と単語語彙的包含目的を統合する。
• 文を語彙表現の関数として表現するニューラルネットワークアーキテクチャを採用し、任意の合成関数を可能にする。
• 真の二語文対をネガティブペアから区別するコントラスト学習目的を適用する一方で、単語語彙的目的は各言語内での意味的整合性を保証する。
• 単語語彙的包含条件によって訓練された語彙表現を活用し、二語文データに存在しない語の一般化を向上させる。
• 袋-語モデルの使用を避けることで、分散的かつ構成的埋め込みを用いることで、語彙のスケーリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 単一の手法が同時に構成的語彙的表現を強制し、単語語彙的および二語文データを活用し、大規模語彙にスケーリングできるか？
• RQ2 特定の語に二語文信号が存在しない状況において、単語語彙的包含条件が多言語表現品質をどの程度向上させるか？
• RQ3 単語語彙的データを統合することで、文書分類のような低リソース多言語タスクのパフォーマンスがどの程度向上するか？
• RQ4 多言語転送タスクにおける正確度と誤差低減の観点から、本手法は既存の最先端手法と比較してどの程度優れているか？
• RQ5 二語文平行データに存在しない語に対して、モデルは意味的に意味のある一般化を達成できるか？

主な発見

• 英語→ドイツ語の多言語文書分類サブタスクで92.7%の正確度を達成し、最先端の結果を0.9ポイント改善した。
• ドイツ語→英語のサブタスクでは84.4%の正確度を達成し、前回の最先端と比較して7.7ポイントの向上と33.0%の誤差低減を達成した。
• 単語語彙的データの5%のみを用いても、DE→ENタスクで3.8ポイントの正確度向上が得られ、優れたデータ効率性を示した。
• 二語文データに存在しない語に対してもモデルはうまく一般化できており、最近傍語が意味的に関連する多言語的整合性を示した（例：'s&p' は 'ratings' および 'ratingindustrie' に関連付けられた）。
• 過去の研究と同等の語彙サイズであっても、高いパフォーマンスを維持しており、語彙制約に対して強い耐性を示した。
• 単語語彙的包含条件は、直接的な二語文監視がなくても、意味的に関連する語がベクトル空間内で意味的に整合的にクラスタリングされるように語彙表現を形状づけるのに効果的であった。