[論文レビュー] Thinking, Fast and Slow: Combining Vector Spaces and Knowledge Graphs

Sudip Mittal, Anupam Joshi+1 more|arXiv (Cornell University)|Aug 10, 2017

Advanced Graph Neural Networks参考文献 38被引用数 33

ひとこと要約

本論文は、ベクトル空間モデルと知識グラフを統合するハイブリッド知識表現であるベクトル知識グラフ（VKG）構造を提案する。この構造により、効率的で推論を強化した意味的検索が可能となる。クエリを「高速」なベクトル空間検索と「遅速」な知識グラフ推論に分解することで、単体のモデルを上回る性能を達成し、意味的検索タスクにおいてMAPが0.80に達した。これは、ベクトルモデル（0.69）や知識グラフ（0.43）を大きく上回る結果である。

ABSTRACT

Knowledge graphs and vector space models are robust knowledge representation techniques with individual strengths and weaknesses. Vector space models excel at determining similarity between concepts, but are severely constrained when evaluating complex dependency relations and other logic-based operations that are a strength of knowledge graphs. We describe the VKG structure that helps unify knowledge graphs and vector representation of entities, and enables powerful inference methods and search capabilities that combine their complementary strengths. We analogize this to thinking `fast' in vector space along with thinking 'slow' and `deeply' by reasoning over the knowledge graph. We have created a query processing engine that takes complex queries and decomposes them into subqueries optimized to run on the respective knowledge graph or vector view of a VKG. We show that the VKG structure can process specific queries that are not efficiently handled by vector spaces or knowledge graphs alone. We also demonstrate and evaluate the VKG structure and the query processing engine by developing a system called Cyber-All-Intel for knowledge extraction, representation and querying in an end-to-end pipeline grounded in the cybersecurity informatics domain.

研究の動機と目的

• 単体のベクトル空間モデルと知識グラフが、意味的類似性と記述的推論の両方を捉える点で抱える限界を解消すること。
• 両者の表現の長所を活かした統合フレームワークを構築し、複雑なクエリ処理を可能とすること。
• 検索、リスト、推論の3つの操作にクエリを分解することで、効率的でハイブリッドなクエリ実行を実現すること。
• Cyber-All-Intelシステムを用いて、実世界のサイバーセキュリティ分野で本手法の有効性を示すこと。

提案手法

• 共有語彙とオントロジー・スキーマを用いて、ベクトル埋め込みと形式的知識グラフを統合するVKG構造の設計。
• 複雑なクエリを、ベクトル空間または知識グラフコンポーネントに最適化されたサブクエリに自動的に分解するクエリ処理エンジンの構築。
• 関係的同時発生仮定を用いてword2vecとGloVeにより単語埋め込みを生成し、それらを知識グラフのエンティティとアライメントする。
• 共有コーパス語彙を用いて、ベクトル空間埋め込みを知識グラフのノードにマッピングする2段階リンクプロセスの適用。
• 3種類のクエリタイプの実装：'検索'（ベクトル空間）、'リスト'（知識グラフ）、'推論'（グラフ三項組の論理的推論）。
• NVD、ダークウェブ、セキュリティブログなど多様な情報源から脅威および脆弱性データを抽出・構造化することで、サイバーセキュリティ分野に実装を定着化する。

実験結果

リサーチクエスチョン

• RQ1 ベクトル空間と知識グラフを統合したハイブリッド知識表現は、単体のモデルよりも意味的検索性能を向上させることができるか？
• RQ2 複雑なクエリは、ベクトル空間類似性検索と知識グラフ推論の両者の長所を活かせるサブクエリに、どのように効果的に分解できるか？
• RQ3 知識グラフに記述的仮定を統合することで、ベクトルベースの検索結果の正確性と関連性はどの程度向上するか？
• RQ4 ベクトルモデルや知識グラフの単体では処理が困難なクエリを、VKG構造は効率的に処理できるか？

主な発見

• VKG構造は、意味的検索タスクにおいて平均平均精度（MAP）が0.80に達し、単体のベクトルモデル（0.69）や知識グラフ（0.43）を著しく上回った。
• ベクトル空間モデル単体が、56の類似性グループのうち47（83%）のケースで知識グラフを上回り、意味的類似性計算における強みを示した。
• 知識グラフコンポーネントは高い正確性を示し、手動ラベル付けされた三項組の83%が正しく、ベクトルとグラフノード間のエンティティリンクの97%が正しく評価された。
• 「MySQLに、サービス拒否攻撃に類似する脆弱性が検出された場合にアラートを発行する」といった複雑なサイバーセキュリティクエリを効果的に処理し、エンドツーエンドの推論と検索を実現した。
• クエリ分解エンジンは、「検索」操作をベクトル空間に、「リスト」／「推論」操作を知識グラフに効果的にルーティングし、スケーラブルで正確なハイブリッド推論を可能にした。
• Cyber-All-Intelシステムは、NVD、ダークウェブ、セキュリティブログなど多様な情報源からのデータ統合を可能とするエンドツーエンドパイプラインの実現可能性を示した。