[論文レビュー] Incorporating Both Distributional and Relational Semantics in Word Representations

Daniel Fried, Kevin Duh|arXiv (Cornell University)|Dec 14, 2014

Topic Modeling参考文献 13被引用数 30

ひとこと要約

本稿では、ニューラル言語モデルによる生テキストからの分布的意味論と、WordNetによる関係的意味論（グラフ距離、TransE、または NTN）を組み合わせるための連合学習フレームワークを、交替方向乗数法（ADMM）を用いて提案する。主な貢献は、知識ベース補完および依存解析の両タスクで、単一目的モデルよりも一貫した性能向上を達成する連合最適化された埋め込み表現が得られることを示したことである。これは、両意味論的枠組みを統合することの価値を裏付ける。

ABSTRACT

We investigate the hypothesis that word representations ought to incorporate both distributional and relational semantics. To this end, we employ the Alternating Direction Method of Multipliers (ADMM), which flexibly optimizes a distributional objective on raw text and a relational objective on WordNet. Preliminary results on knowledge base completion, analogy tests, and parsing show that word representations trained on both objectives can give improvements in some cases.

研究の動機と目的

• 分布的意味論と関係的意味論から同時に学習することで、語の表現が向上するかどうかを調査すること。
• 多様な意味的目的を統合できる柔軟な最適化フレームワークを構築すること。
• 分布的意味論と関係的意味論の信号を統合することで、より強固で一般化可能な語の表現が得られるかどうかを評価すること。
• グラフ距離、TransE、および NTN といった異なる関係的目的が、下流の NLP タスクに与える影響を調査すること。

提案手法

• 本手法は、交替方向乗数法（ADMM）を用いて、分布的目的（ニューラル言語モデル）と関係的目的（WordNetに基づく類似度または関係モデリング）を連合最適化する。
• 分布的目的は、生テキストからの n-gram を用いたノイズ対比推定により学習され、正しく構築されたシーケンスと不正なシーケンスを区別するためのヘッジ損失が使用される。
• 関係的目的は、WordNetのグラフ距離を用いて意味的類似度をモデル化するか、または TransE や NTN を用いて関係のベクトル表現を学習し、語の埋め込みに構造的制約を課す。
• ADMM を用いることで、分布的および関係的目的の交互最適化が可能となり、多様な損失関数の柔軟な統合が可能になる。
• 語の埋め込みは、ADMM の拡張ラグランジュフレームワークを用いて反復的に更新され、双対変数とペナルティ項を通じて両目的のバランスがとられる。
• 学習後は、ネットワークパラメータとは分離して、単に学習された語の埋め込みのみを下流の評価に使用する。

実験結果

リサーチクエスチョン

• RQ1 分布的意味論と関係的意味論の連合最適化が、多様な NLP タスクにおける語の表現品質を向上させるか？
• RQ2 WordNetに基づく関係的構造の統合が、知識ベース補完および構文解析タスクの性能に与える影響は何か？
• RQ3 分布的意味論と関係的意味論の両目的を統合することで、単一目的で学習したモデルよりも優れた結果が得られるか？
• RQ4 分布的学習と連合最適化された際、グラフ距離、TransE、および NTN といった異なる関係的モデリング手法の性能はどのように比較されるか？
• RQ5 多目的学習が類似性推論および構文解析の正確性に与える影響は何か？

主な発見

• 連合学習された埋め込み（NLM + GD）は、5つのウェブドメイン平均でラベル付きアタッチメントスコア（LAS）76.18を達成し、単一目的の NLM ベースライン（76.03）を上回った。
• NLM + GD モデルは、ウェブログドメインで 82.28% の精度を達成し、テストされたすべてのモデルの中で最高であった。
• 知識ベース補完タスクでは、連合モデル（NLM + GD）が平均逆順位（MRR）0.759を達成し、NLM 唯一のベースラインよりもわずかに優れた性能を示した。
• 類似性タスクでは、連合埋め込みは単一目的モデルと同等の性能を示し、意味論的に明確な別個の表現空間を学習していることが示された。
• 連合モデルは、単一目的で学習したモデルよりも一貫して優れた性能を示し、分布的意味論と関係的意味論が補完的であることが裏付けられた。
• SANCLデータで 9–13% の未知語率があるにもかかわらず、構文解析性能の向上が見られたことから、連合表現の強靭性と一般化能力が示された。