[論文レビュー] Probabilistic Reasoning via Deep Learning: Neural Association Models

Quan Liu, Hui Jiang+5 more|arXiv (Cornell University)|Mar 24, 2016

Bayesian Modeling and Causal Inference参考文献 34被引用数 79

ひとこと要約

この論文は、確率的推論のためのニューラルネットワークを用いてイベント間の条件付き確率をモデル化する深層学習フレームワーク、Neural Association Models (NAM) を紹介する。DNNおよび関係変調型ニューラルネットワーク (RMNN) の2つのアーキテクチャを提案し、テキスト entailment タスク、知識ベースの三項式分類、Winograd Schema タスクにおいて従来手法を上回る性能を発揮。特に RMNN は、少数の例での知識転送能力に優れている。

ABSTRACT

In this paper, we propose a new deep learning approach, called neural association model (NAM), for probabilistic reasoning in artificial intelligence. We propose to use neural networks to model association between any two events in a domain. Neural networks take one event as input and compute a conditional probability of the other event to model how likely these two events are to be associated. The actual meaning of the conditional probabilities varies between applications and depends on how the models are trained. In this work, as two case studies, we have investigated two NAM structures, namely deep neural networks (DNN) and relation-modulated neural nets (RMNN), on several probabilistic reasoning tasks in AI, including recognizing textual entailment, triple classification in multi-relational knowledge bases and commonsense reasoning. Experimental results on several popular datasets derived from WordNet, FreeBase and ConceptNet have all demonstrated that both DNNs and RMNNs perform equally well and they can significantly outperform the conventional methods available for these reasoning tasks. Moreover, compared with DNNs, RMNNs are superior in knowledge transfer, where a pre-trained model can be quickly extended to an unseen relation after observing only a few training samples. To further prove the effectiveness of the proposed models, in this work, we have applied NAMs to solving challenging Winograd Schema (WS) problems. Experiments conducted on a set of WS problems prove that the proposed models have the potential for commonsense reasoning.

研究の動機と目的

• ベイジアンネットワークのような従来の確率的推論モデルの限界、特にイベント空間が大きい場合の非効率性を解消すること。
• 深層ニューラルネットワークを用いてイベント間の意味的関連性をモデル化することで、AIにおける有効な常識的推論を可能にすること。
• 新しい関係に迅速に適応できるモデルアーキテクチャを設計することで、少サンプル学習の文脈における知識転送を向上させること。
• NAM の有効性を、特に Winograd Schema Challenge に代表される困難な常識的推論ベンチマークで評価すること。
• 実世界の言語的関連性を訓練に活用できるように、非構造化テキストから原因・結果ペアをスケーラブルに収集する方法を開発すること。

提案手法

• 意味的類似性を捉え、一般化を可能にするために、分散表現を用いてイベントを低次元連続ベクトルとして表現する。
• 入力イベント E1 と出力イベント E2 間の条件付き確率 P(E2|E1) を予測するため、深層ニューラルネットワーク (DNN) および関係変調型ニューラルネットワーク (RMNN) を訓練する。
• ネガティブサンプリング戦略を用いる：TransMat-NAM では文法的パターン（例：声かけの能動的・受動的形、極性）を変更してネガティブサンプルを生成。RelationVec-NAM では、異なる結果イベントをランダムにサンプリング。
• 事前学習済み単語埋め込みを活用し、WordNet、FreeBase、ConceptNet から得られるデータセットを含む、タスク固有のデータセットでモデルを微調整する。
• イベント関連（例：'call' → 'not successful' または 'be upset' → 'yell'）を学習済み確率スコアでモデル化することで、Winograd Schema 問題に NAM フレームワークを適用する。
• 一般的な動詞と形容詞の語彙を用いて、非構造化テキストから自動的に収集した大規模な原因・結果ペアデータセットを用いてモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークは、確率的推論タスクにおけるイベント間の条件付き関連確率を効果的にモデル化できるか？
• RQ2 DNN と RMNN アーキテクチャは、複数の推論ベンチマークにおいて性能と一般化能力でどのように比較されるか？
• RQ3 提案された NAM フレームワークは、少量のラベル付き例でのみ学習可能な状況において、効果的な少サンプル知識転送を達成できるか？
• RQ4 NAM は、Winograd Schema Challenge のような複雑な常識的推論問題をどの程度解けるか？
• RQ5 非構造化テキストから高品質な原因・結果ペアを自動収集することは、神経的関連モデルの訓練に実現可能か？

主な発見

• DNN および RMNN アーキテクチャを用いた NAM フレームワークは、テキスト entailment タスク、多関係知識ベースにおける三項式分類、常識的推論タスクにおいて、従来手法を顕著に上回る性能を示した。
• Winograd Schema Cause-Effect データセットにおいて、RelationVec-NAM システムは 61.4% の精度（70例中43例）を達成した。一方、TransMat-NAM は 58.6% の精度を記録した。
• RMNN モデルは知識転送において優れた性能を示し、元の関係の性能を劣化させることなく、少数の訓練例でのみ新しい関係に迅速に適応できた。
• モデルは直感的な常識的関係を的確に捉えており、'call' のもとで 'not successful' である確率が 'be called' の場合より高いという関係を、人間の推論と整合させる。
• 電話をかけるシナリオでは、P(not successful|call) = 0.7299 が P(not successful|be called) = 0.5430 よりも高いことから、ポールが成功しなかったと正しく同定した。
• 感情的因果関係の文脈では、P(yell|be upset) = 0.9296 が P(be yelled|be upset) = 0.8785 よりも高いことから、モデルは正しくジムが怒ったと推論し、別のシナリオではケビンがなだめられていると正しく特定した。