[論文レビュー] Gaussian Attention Model and Its Application to Knowledge Base Embedding and Question Answering

Liwen Zhang, John Winn+1 more|arXiv (Cornell University)|Nov 7, 2016

Topic Modeling参考文献 21被引用数 20

ひとこと要約

本稿では、多変量ガウス尤度をスコア関数として用いる微分可能なコンテンツベースのアテンション機構、Gaussian Attention Modelを提案する。このモデルにより、鋭い焦点から広い焦点まで柔軟にアテンションを制御でき、知識ベース埋め込みおよび質問応答の性能が向上する。関係の合成や論理的結合クエリにおける不確実性を自然にモデル化でき、FIFAワールドカップ2014知識ベースにおける経路クエリおよび結合クエリの性能として最先端の結果を達成した。

ABSTRACT

We propose the Gaussian attention model for content-based neural memory access. With the proposed attention model, a neural network has the additional degree of freedom to control the focus of its attention from a laser sharp attention to a broad attention. It is applicable whenever we can assume that the distance in the latent space reflects some notion of semantics. We use the proposed attention model as a scoring function for the embedding of a knowledge base into a continuous vector space and then train a model that performs question answering about the entities in the knowledge base. The proposed attention model can handle both the propagation of uncertainty when following a series of relations and also the conjunction of conditions in a natural way. On a dataset of soccer players who participated in the FIFA World Cup 2014, we demonstrate that our model can handle both path queries and conjunctive queries well.

研究の動機と目的

• 知識ベース推論における神経的メモリアクセスを改善する、鋭い焦点から広い焦点まで制御可能なより柔軟なアテンション機構の開発。
• 知識グラフを複数の関係でたどる際の不確実性を効果的にモデル化すること。
• 微分可能で構成的なフレームワーク内で、自然に結合クエリ（例：「ドイツ出身でフォワードを務めるのは誰ですか？」）を処理すること。
• エンティティ埋め込みとクエリ推論にガウススコアリングを統合することで、知識ベース上の質問応答を改善すること。
• 経路走査と論理的結合を含む複雑なクエリにおいて、モデルの優位性を実証すること。

提案手法

• スコア関数として多変量ガウス尤度を用いる：score = -0.5*(v - μ)ᵀΣ⁻¹(v - μ) + const、ここでμとΣは文脈依存の平均および共分散である。
• アテンション機構はコンテンツベースであり、文脈（例：クエリや関係）がガウス分布のパラメータ（μ, Σ）を決定することで、動的かつ柔軟な焦点制御が可能となる。
• エンティティはこのスコア関数を用いて連続的ベクトル空間に埋め込まれ、TransEに類似したTransGaussianモデルを形成するが、不確実性を考慮した関係を有する。
• 関係はガウス変換としてモデル化され、平均シフトと分散の加算が行われ、ガウス畳み込みにより合成的推論が可能となる。
• ガウスベースの結合と合成により、経路クエリ（例：「ドイツから来た選手が所属するクラブは？」）と結合クエリ（例：「ドイツ出身でフォワードを務めるのは誰ですか？」）の両方をサポートする。
• エンド・ツー・エンドの最適化を用いて学習を行い、微分可能なアテンションにより、エンティティ埋め込みと関係パラメータの両方を勾配ベースで学習可能となる。

実験結果

リサーチクエスチョン

• RQ1 ガウス分布による不確実性をモデル化する微分可能なアテンション機構は、知識ベース上の推論を改善できるか？
• RQ2 ガウスアテンションモデルは、関係の合成（経路クエリ）と条件の結合（論理的結合）を含む複雑なクエリをどれほど効果的に処理できるか？
• RQ3 アテンションの広がり（鋭い焦点から広い焦点まで）を調整できる能力が、知識ベースの質問応答における一般化性とロバスト性を向上させるか？
• RQ4 ガウスベースのスコアリングは、スパースな知識ベースにおける意味的近接性と不確実性のモデル化において、標準的な内積アテンションを上回る性能を示せるか？
• RQ5 構成的学習とエンド・ツー・エンド学習の恩恵が、複雑な推論タスクにおいてどの程度顕著に現れるか？

主な発見

• Gaussian Attention Modelは、結合クエリにおいて98.81%の精度を達成し、この複雑なクエリタイプにおいてベースラインモデルを顕著に上回った。
• 経路クエリでは85.94%の精度に達し、知識グラフ上のマルチホップ推論において優れた性能を示した。
• 単純な質問では、「FCバルセロナでフォワードを務めるのは誰ですか？」というクエリに対して98.77%の精度を示し、原子的事実に対する高い精度を確認した。
• 関係の合成の過程で不確実性を自然に扱えたため、複雑で多段階のクエリにおいても性能が安定した。
• すべてのクエリタイプにおいて強力なベースラインを上回り、特に内積アテンションが苦戦する結合クエリおよび経路クエリで顕著な優位性を示した。
• アブレーションスタディにより、ガウスアテンション機構がアテンションの広がりを制御できる能力が、多様なクエリタイプを効果的に処理する上で不可欠であることが確認された。