[論文レビュー] Learning to Understand Phrases by Embedding the Dictionary

Felix Hill, Kyunghyun Cho+2 more|arXiv (Cornell University)|Apr 2, 2015

Natural Language Processing Techniques参考文献 29被引用数 14

ひとこと要約

本論文では、辞書の定義を単語埋め込みにマッピングするようにニューラル言語モデルを訓練する手法を提案しており、これにより効果的なフレーズおよび文の表現学習が可能になる。自由に利用可能な語彙的リソースから得た定義を用いてRNNおよびbag-of-wordsモデルを学習することで、タスク特化のための設計や大量のデータに依存せずに、逆辞書およびクロスワードの質問応答タスクで最先端の性能を達成した。

ABSTRACT

Distributional models that learn rich semantic word representations are a success story of recent NLP research. However, developing models that learn useful representations of phrases and sentences has proved far harder. We propose using the definitions found in everyday dictionaries as a means of bridging this gap between lexical and phrasal semantics. Neural language embedding models can be effectively trained to map dictionary definitions (phrases) to (lexical) representations of the words defined by those definitions. We present two applications of these architectures: "reverse dictionaries" that return the name of a concept given a definition or description and general-knowledge crossword question answerers. On both tasks, neural language embedding models trained on definitions from a handful of freely-available lexical resources perform as well or better than existing commercial systems that rely on significant task-specific engineering. The results highlight the effectiveness of both neural embedding architectures and definition-based training for developing models that understand phrases and sentences.

研究の動機と目的

• 訓練および評価のためのゴールドスタンダードが存在しないフレーズおよび文の分散表現学習の課題に対処すること。
• 辞書の定義を教師信号として用い、フレーズを単語ベクトルにマッピングするモデルを学習することで、語彙的意味とフレーズ的意味の橋渡しをすること。
• 逆辞書タスクを用いて、フレーズ表現モデルの一般化評価フレームワークを構築すること。
• 定義に基づいて学習されたニューラル言語モデルが、クロスワードのようなオープンドメインの質問応答タスクに一般化できることを示すこと。
• 同じフレームワーク内で双語単語表現を活用することで、多言語対応の応用を可能にすること。

提案手法

• 大規模な単語彙的テキストを用いてWord2Vecを訓練し、個々の単語の固定された連続的ベクトル表現を取得する。
• これらの事前学習済み単語ベクトルを、入力の定義（フレーズ）を対応する単語埋め込みにマッピングするニューラル言語モデルのターゲットとして用いる。
• 2つのアーキテクチャを実装する：語順を保持するLSTMベースのRNNと、入力を順序なしとみなすシンプルな順方向bag-of-words（BOW）モデル。
• ネットワークの最終隠れ状態とターゲット単語埋め込みベクトルの差を最小化するように、バックプロパゲーションによりモデルを訓練する。
• 訓練済みモデルを2つのタスクに適用する：逆辞書（定義から単語へのマッピング）と一般常識クロスワードの解法（ヒントから答えへのマッピング）。
• 双語単語埋め込みモデルと統合することで、多言語対応の逆辞書アプリケーションを実現するため、フレームワークを多言語環境に拡張する。

実験結果

リサーチクエスチョン

• RQ1 辞書の定義は、フレーズおよび文の表現を学習するためのニューラルモデルを訓練するのに信頼できる教師信号として機能するか？
• RQ2 RNNとBOWモデルは、既存のシステムと比較して、定義を単語埋め込みにマッピングする能力をどれほど効果的に学習できるか？
• RQ3 タスク特化のチューニングなしに、定義に基づいて学習したモデルは、クロスワードのようなオープンドメインの質問応答タスクに一般化できるか？
• RQ4 語順を無視するにもかかわらず、単純なbag-of-wordsモデルが、順序に依存するRNNを上回る性能を示す可能性はどの程度か？
• RQ5 双語単語埋め込みを用いることで、このフレームワークを多言語環境に拡張できるか？

主な発見

• 自由に入手可能な少数の辞書のみを用いて学習したニューラル言語モデルは、膨大なタスク特化の設計に依存する商用の逆辞書システムと同等またはそれ以上の性能を示した。
• LSTMを用いたRNNベースのモデルは、逆辞書タスクにおいてBOWモデルを上回り、特に一貫性があり意味的に整合性のある候補リストの生成において優れた性能を示した。
• 一般常識クロスワードのヒントに対して、RNNおよびBOWモデルの両方が、特に4語以上のヒントに対して、特化した商用クロスワードソルバーを上回った。
• BOWモデルは、語順を無視し、照合語の直接的な重複がない状況でも正解を正しく検索することができたが、これは学習された意味的関係の強力な一般化を示している。
• モデルは、訓練データに明示的にリンクされていない概念間の関係を推論する能力を示しており、例えば「非調性の」を「ショーンバーグ」と関連付けるような、共有される意味的文脈を通じて関連づけることができた。
• 双語単語表現と統合することで、このフレームワークは機能的な多言語対応の逆辞書を実現でき、多言語間での広範な応用可能性を示唆している。