[論文レビュー] Discriminative Gaifman Models

Mathias Niepert|arXiv (Cornell University)|Oct 28, 2016

Topic Modeling被引用数 7

ひとこと要約

この論文では、知識ベース内の局所的でサイズが制限された近傍を学習に用いる、新たな関係的機械学習モデル族「判別的Gaifmanモデル」を紹介する。Gaifmanの局所性定理を活用し、関係的特徴量と深層ニューラルネットワークを組み合わせることで、効率的で頑健かつ解釈可能な推論を実現する。WN18およびFB15Kにおける知識ベース補完タスクにおいて、特にHits@10およびHits@1の指標で最先端の性能を達成する一方で、高い推論速度を維持している。

ABSTRACT

We present discriminative Gaifman models, a novel family of relational machine learning models. Gaifman models learn feature representations bottom up from representations of locally connected and bounded-size regions of knowledge bases (KBs). Considering local and bounded-size neighborhoods of knowledge bases renders logical inference and learning tractable, mitigates the problem of overfitting, and facilitates weight sharing. Gaifman models sample neighborhoods of knowledge bases so as to make the learned relational models more robust to missing objects and relations which is a common situation in open-world KBs. We present the core ideas of Gaifman models and apply them to large-scale relational learning problems. We also discuss the ways in which Gaifman models relate to some existing relational machine learning approaches.

研究の動機と目的

• 大規模な知識ベースにおける複雑な確率的クエリ応答に適した、スケーラブルで効率的かつ解釈可能な関係的機械学習フレームワークの開発。
• スケーラビリティや過学習の問題を抱える従来の統計的関係的モデルの限界を、局所的かつサイズ制限付きの近傍に焦点を当てることで解決すること。
• 近傍サンプリングと重み共有を用いることで、オープンワールド知識ベースにおける欠落した関係やオブジェクトに対する頑健性を向上させること。
• 計算効率性と解釈可能性を維持しつつ、知識ベース補完タスクで高い性能を達成すること。
• 有限モデル理論（Gaifmanの局所性定理）の知見と、現代の深層学習技術を統合し、関係的表現学習のためのモデルを設計すること。

提案手法

• モデルは、Gaifmanグラフを用いて局所的接続性を定義し、知識ベース内のオブジェクトの局所的近傍（半径$k$まで）を構築する。
• 特に関係の欠落に強い性能を発揮するように、クエリオブジェクトの周囲から複数の$(r,k)$-近傍をサンプリングする。
• 対称的・推移的パターン（例：$\exists x\ \mathtt{r}(s_1,x)\land\mathtt{r}(x,s_2)$）を含む、各近傍からの関係的特徴量を抽出する。
• ReLUまたはシグモイド活性化関数とドロップアウト（0.2）を備えた2層の全結合ニューラルネットワークが、特徴ベクトルを処理し、確率を予測する。
• 各タプルの最終予測は、$N$個の独立にサンプリングされた近傍における確率の平均値として得られる。
• モデルはクロスエントロピー損失を用いてエンドツーエンドで学習され、推論は近傍の生成とニューラルネットワークの順伝播によって行われる。

実験結果

リサーチクエスチョン

• RQ1 知識ベースにおける局所的かつサイズ制限付きの近傍は、頑健で一般化可能な関係的表現を学習するために効果的に利用可能か？
• RQ2 複数の局所的近傍をサンプリングすることで、オープンワールド知識ベースにおける関係やオブジェクトの欠落に対するモデルの頑健性はどのように向上するか？
• RQ3 Gaifmanの局所性を活用することで、従来の最先端手法を上回る効率的でスケーラブルな関係的学習モデルを設計できるか？
• RQ4 近傍のサイズ（$k$）とサンプリングされた近傍の数（$N$）は、性能と推論速度にどの程度の影響を及ぼすか？
• RQ5 標準的な知識ベース補完ベンチマークにおいて、GaifmanモデルはTransE やDistMult などの埋め込みベースのモデルと比べて、効率性と正確性の両面で優れているか？

主な発見

• WN18では、GaifmanモデルがHits@10（93.9）とHits@1（76.7）で最高を記録し、TransE やDistMult を含むすべてのベースラインを上回った。
• FB15Kでは、GaifmanモデルがHits@10（84.2）とHits@1（69.2）を達成し、両指標で比較対象のすべての手法を上回った。
• $N=3$のサンプリング近傍を用いることで、$N=1$に比べて一貫して性能が向上し、アンサンブル的な近傍サンプリングの利点が示された。
• WN18では、1-近傍（$k=\infty$）を全容として用いることで安定した性能が得られたが、FB15Kでは次数の分散が大きいことから、$k=20$程度の小さな$k$値がより良い結果をもたらした。
• $k \leq 20$の範囲で、1秒間に約5,000件のクエリ回答を達成し、一般ハードウェア上でも高い推論効率を示した。
• 近傍サンプリングによる局所構造のデータ拡張により、学習例の数を増やすことで性能向上が得られたことから、局所構造を用いたデータ拡張の有効性が裏付けられた。