[論文レビュー] Scalable Neural Methods for Reasoning With a Symbolic Knowledge Base

William W. Cohen, Haitian Sun+2 more|arXiv (Cornell University)|Feb 14, 2020

Topic Modeling参考文献 34被引用数 17

ひとこと要約

この論文は、大規模な記号的KBにおける完全微分可能でスケーラブルかつ忠実なニューラル推論を可能にするスパース行列で再構築された知識ベース（KB）表現を導入する。関係をGPUに分散可能なスパース行列として符号化することで、単純なスパース行列実装と比較して最大10,000倍の高速化を達成し、1300万以上のエンティティと4400万件の事実を含むKBにおいて、ニューラル意味解析およびKB補完のエンドツーエンド学習を可能にする。

ABSTRACT

We describe a novel way of representing a symbolic knowledge base (KB) called a sparse-matrix reified KB. This representation enables neural modules that are fully differentiable, faithful to the original semantics of the KB, expressive enough to model multi-hop inferences, and scalable enough to use with realistically large KBs. The sparse-matrix reified KB can be distributed across multiple GPUs, can scale to tens of millions of entities and facts, and is orders of magnitude faster than naive sparse-matrix implementations. The reified KB enables very simple end-to-end architectures to obtain competitive performance on several benchmarks representing two families of tasks: KB completion, and learning semantic parsers from denotations.

研究の動機と目的

• エンドツーエンド学習を可能にするために、大規模な記号的知識ベースを微分可能なニューラルアーキテクチャに統合する課題に対処すること。
• スケーラビリティ、元のKBの意味論への忠実性、あるいはマルチホップ推論のサポートに欠ける既存のニューラルKB手法の限界を克服すること。
• GPU最適化されたスパース行列表現を用いて、巨視的KB（例：数千万のエンティティおよび事実）における効率的でスケーラブルかつ微分可能な推論を可能にすること。
• 段階的リトリーブやニューラルモジュールを排除することで、denotationsからのニューラル意味解析を簡素化し、完全なエンドツーエンド学習を可能にすること。
• 実世界のベンチマークおよび合成された長鎖推論タスクの両方において、スケーラビリティとパフォーマンスを実証すること。

提案手法

• 三つのスパース行列（主語用、目的語用、関係インデックス用）を用いて、記号的KBを再構築KBとして表現し、各三つ組みをそのコンポonent IDにマッピングする。
• インジケーターベクトルを用いてエンティティおよび関係の集合を密度ベクトルとして符号化し、和、ハダマード積、1 - x によるベクトル演算により集合演算（和集合、積集合、補集合）を可能にする。
• 「フォロー」演算を二重線形変換として定義：follow(x, r) = M_r x ここで M_r は関係 r のスパース行列であり、関係に沿った微分可能なパスフォローを可能にする。
• 学習された重みを用いた関係行列の重み付き和（M_R = Σ w_r M_r）を用いることで、複数の関係を含む複雑なクエリをモデル化する。
• スパース行列をパーティショニングすることで再構築KBを複数のGPUに分散させ、1300万以上のエンティティと4400万件の事実を含むKBの学習を可能にする。
• ニューラルネットワーク内に再構築KBを微分可能なモジュールとして統合し、denotationsやKB補完ターゲットからのバックプロパゲーションを推論ステップ全体にわたって可能にし、エンドツーエンド学習を実現する。

実験結果

リサーチクエスチョン

• RQ1 大規模KBにおける完全微分可能でスケーラブルかつ元のKBの意味論に忠実なニューラル推論を可能にするような、記号的KBの表現方法は可能か？
• RQ2 大規模KBにおける微分可能なニューラルフレームワーク内で、マルチホップ推論を効率的かつ正確にモデル化する方法は何か？
• RQ3 提案手法は、単純なスパース行列実装と比較して顕著な高速化を達成しつつ、意味論的忠実性を維持できるか？
• RQ4 ヒューリスティックなリトリーブや強化学習を一切用いずに、微分可能な推論のみを用いてdenotationsからのエンドツーエンドニューラル意味解析を達成できるか？
• RQ5 合成された長鎖推論タスクおよび実世界のベンチマークの両方において、この手法は長鎖推論および大規模KBにどの程度スケーラブルに拡張できるか？

主な発見

• スパース行列で再構築されたKB表現により、完全に微分可能で元のKBの意味論に忠実であり、マルチホップ推論に十分な表現力を持つニューラル推論が可能になる。
• 合成データにおいて、単純なスパース行列実装と比較して10,000倍以上の高速化を達成した。関係数が多くても同様の高速化が維持された。
• 1300万以上のエンティティとほぼ4400万件の事実を含むKBにスケーリング可能であり、実世界の大規模KBに実用可能であることを示した。
• 再構築KBモジュールを用いた単純なエンドツーエンドニューラルアーキテクチャが、KB補完およびdenotationsからの意味解析ベンチマークで競争力あるパフォーマンスを達成した。
• 従来、非微分可能なKB推論のため、denotationsからのエンドツーエンドニューラル意味解析が困難であったが、本手法により段階的リトリーブや強化学習を一切用いずに完全なエンドツーエンド学習が可能になった。
• 合成タスクにおける長鎖推論をサポートし、複雑な推論シナリオにおいても堅牢性とスケーラビリティを示した。