[論文レビュー] Implicit ReasoNet: Modeling Large-Scale Structured Relationships with Shared Memory

Yelong Shen, Po-Sen Huang+2 more|arXiv (Cornell University)|Apr 24, 2017

Topic Modeling参考文献 28被引用数 12

ひとこと要約

本論文では、共有メモリと検索コントローラーを介して、モデルと共同で学習することで、多段階の推論を暗黙的に行うことで大規模知識ベースの補完を可能にする、新しいフレームワークであるImplicit ReasoNets (IRNs) を紹介する。従来の手法が観測されたインスタンスに直接作用するのに対し、IRNsはメモリ拡張推論を学習することで関係を推論し、FB15kで前人を上回る5.7%の向上を達成し、新たな最良性能を記録した。

ABSTRACT

Recent studies on knowledge base completion, the task of recovering missing relationships based on recorded relations, demonstrate the importance of learning embeddings from multi-step relations. However, due to the size of knowledge bases, learning multi-step relations directly on top of observed instances could be costly. In this paper, we propose Implicit ReasoNets (IRNs), which is designed to perform large-scale inference implicitly through a search controller and shared memory. Unlike previous work, IRNs use training data to learn to perform multi-step inference through the shared memory, which is also jointly updated during training. While the inference procedure is not operating on top of observed instances for IRNs, our proposed model outperforms all previous approaches on the popular FB15k benchmark by more than 5.7%.

研究の動機と目的

• 大規模知識ベースにおける多段階関係の学習にかかる計算コストを軽減すること。
• 観測されたインスタンスに直接作用しない効率的でスケーラブルな推論を可能にすること。
• 構造的関係における暗黙的推論のための検索コントローラーと共有メモリを共同で学習すること。
• FB15kなどの標準ベンチマークにおける知識ベース補完のパフォーマンスを向上させること。

提案手法

• IRNsは、学習中に関係パターンの表現を格納・更新する共有メモリモジュールを採用する。
• 検索コントローラーは、明示的なパス列挙を伴わずに、多段階推論をシミュレートするためにメモリ操作を動的に選択する。
• モデルは観測された三項対に基づいて学習することで、コントローラーとメモリを共同で更新し、暗黙的推論を実現する。
• 推論時に観測インスタンスに対する直接計算を回避することで、計算オーバーヘッドを低減する。
• 多段階推論は、明示的なパス走査ではなく、メモリとの相互作用を通じて暗黙的にモデル化される。
• 訓練データは、共有メモリとコントローラーを通じて推論パターンの学習を監視するために使用される。

実験結果

リサーチクエスチョン

• RQ1 共有メモリによる暗黙的推論は、知識ベース補完におけるスケーラビリティを向上させ得るか？
• RQ2 検索コントローラーとメモリの共同学習は、大規模知識ベースにおけるパフォーマンスにどのように影響するか？
• RQ3 推論時に観測インスタンスに直接作用しないモデルは、明示的パスベース手法を上回る性能を発揮できるか？
• RQ4 メモリ拡張推論は、複雑な多段階関係パターンにわたってどの程度一般化可能か？

主な発見

• IRNsはFB15kベンチマークで、前人を上回る新たな最良パフォーマンスを達成した。
• FB15kデータセットにおいて、前人を5.7%以上上回るパフォーマンス向上を達成した。
• 暗黙的推論メカニズムにより、観測インスタンスへの直接計算を伴わず、スケーラブルな推論が可能になった。
• 検索コントローラーと共有メモリの共同学習により、より効果的な多段階推論パターンが得られた。
• 効率的なメモリ利用のおかげで、大規模知識ベースにおいて優れた一般化性能を示した。
• 結果から、メモリ拡張推論は正確性とスケーラビリティの両面で明示的パスベース手法を凌駒することが確認された。