[論文レビュー] Embedding Word Similarity with Neural Machine Translation

Felix Hill, Kyunghyun Cho+3 more|arXiv (Cornell University)|Dec 19, 2014

Topic Modeling参考文献 31被引用数 40

ひとこと要約

本論文は、ニューラル機械翻訳（NMT）モデルが、単語埋め込みを、単語の概念的類似性および語彙的・文法的役割を、単語の言語モデルよりもよりよく捉えるように学習すると提案している。英仏および英独の並列コーパス上でNMTモデルを訓練することで、著者たちは、類似性に焦点を当てたベンチマークSimLex-999において、単語の言語モデルの対比的性能を上回ることを示し、言語対を越えて一貫性を示す。これは、翻訳に基づく学習が、ベクトル空間における人間らしい意味的組織の形成を促進する可能性を示唆している。

ABSTRACT

Neural language models learn word representations, or embeddings, that capture rich linguistic and conceptual information. Here we investigate the embeddings learned by neural machine translation models, a recently-developed class of neural language model. We show that embeddings from translation models outperform those learned by monolingual models at tasks that require knowledge of both conceptual similarity and lexical-syntactic role. We further show that these effects hold when translating from both English to French and English to German, and argue that the desirable properties of translation embeddings should emerge largely independently of the source and target languages. Finally, we apply a new method for training neural translation models with very large vocabularies, and show that this vocabulary expansion algorithm results in minimal degradation of embedding quality. Our embedding spaces can be queried in an online demo and downloaded from our web page. Overall, our analyses indicate that translation-based embeddings should be used in applications that require concepts to be organised according to similarity and/or lexical function, while monolingual embeddings are better suited to modelling (nonspecific) inter-word relatedness.

研究の動機と目的

• ニューラル機械翻訳（NMT）モデルが、単語の意味的類似性および語彙的・文法的役割を捉える能力に優れた単語埋め込みを学習するかどうかを調査すること。
• 翻訳に基づく埋め込みの利点が、英仏および英独の言語対のような異なる言語対に一般化されるかどうかを評価すること。
• 非常に大きな語彙（例：100万語以上）を対象としたNMTモデルの訓練における計算的課題を解決しながら、埋め込み品質を維持すること。
• NMTによる二言語表現学習が、言語に依存しない、人間が直感的と感じる意味的類似性を反映する埋め込みを生成できるかどうかを検討すること。
• 下流NLPアプリケーション向けに、高品質な翻訳ベースの埋め込みを公開可能なリソースとして提供すること。

提案手法

• 注意機構と共有埋め込み空間を用いて、並列の単語と二語のコーパス上で、系列から系列へのニューラル機械翻訳モデルを訓練する。
• 訓練済みNMTモデルのエンコーダーおよびデコーダー部から単語埋め込みを抽出し、それらを語の意味の分散表現とみなす。
• NMTモデルを非常に大きな語彙（例：100万語以上）にスケーリングするための新しい語彙拡張アルゴリズムを適用し、埋め込み品質の低下を最小限に抑える。
• 単語類似性のベンチマークであるSimLex-999で埋め込みを評価し、skip-gramやCBOWのような単語の言語モデルとの性能を比較する。
• 埋め込み空間の定性的分析を実施し、類義語と対義語をどれだけうまく区別できるか、および文法的役割をどれほど適切に符号化できるかを評価する。
• 言語間のアライメントと投影技術を用いて、言語固有の要因が埋め込み空間の構造に与える影響を検討する。

実験結果

リサーチクエスチョン

• RQ1 ニューラル機械翻訳モデルが学習する単語埋め込みは、概念的類似性を要請するタスクにおいて、単語の言語モデルの埋め込みを上回る性能を示すか？
• RQ2 翻訳に基づく埋め込みの特性が、英仏および英独のような異なる言語対にどれほど一般化されるか？
• RQ3 NMTモデル向けに提案された新しい語彙拡張法は、非常に大きな語彙（例：100万語以上）にスケーリングする際、高品質な埋め込みを維持できるか？
• RQ4 なぜ翻訳に基づく埋め込みは、関連性や語の連接性のような他の意味的関係よりも、概念的類似性を強調するのか？
• RQ5 埋め込み空間における言語固有の要因は、意味的類似性および文法的機能の表現にどのように影響を与えるか？

主な発見

• NMTモデルから得られる翻訳ベースの埋め込みは、単語類似性のベンチマークSimLex-999において、単語の言語モデルを著しく上回る性能を示し、概念的類似性の符号化が優れていることが示された。
• NMT埋め込みの性能優位性は、英仏および英独の翻訳タスクの両方で一貫しており、言語対の違いにかかわらず安定していることが示された。
• 提案された語彙拡張アルゴリズムにより、100万語以上の非常に大きな語彙を対象としたNMTモデルの訓練が可能となり、埋め込み品質の低下を最小限に抑えながら維持された。
• 定性的分析の結果、翻訳ベースの埋め込みは、類義語と対義語をよりよく区別でき、人間の意味的類似性の直感に近いものであることが明らかになった。
• 埋め込み空間には言語固有の要因が観察されたことから、言語間対応の性質が、意味的および文法的情報の組織の仕方を形づくることが示唆された。
• 結果は、翻訳の目的（異なる言語間で意味的に同等の語をマッピングすること）が、特定の関連性よりも類似性に基づく表現の学習を自然に促進するという仮説を支持している。