[論文レビュー] Predicting the Co-Evolution of Event and Knowledge Graphs

Cristóbal Esteban, Volker Tresp+3 more|arXiv (Cornell University)|Dec 21, 2015

Advanced Graph Neural Networks参考文献 24被引用数 31

ひとこと要約

本稿では、テンソルベースの表現学習を用いて、知識グラフ（KG）とイベントグラフの共進化を統合的にモデル化するフレームワークを提案する。イベントがKGの変化を引き起こす中で、KGとイベントの両方の潜在表現を用いて予測モデルを学習することで、将来のイベントおよびそれに伴うKG状態遷移を正確に予測可能となる。臨床、レコメンデーション、センサーネットワーク応用において、10ステップ先の予測期間とT=10の最適な履歴長を想定した状況で優れた性能を示した。

ABSTRACT

Embedding learning, a.k.a. representation learning, has been shown to be able to model large-scale semantic knowledge graphs. A key concept is a mapping of the knowledge graph to a tensor representation whose entries are predicted by models using latent representations of generalized entities. Knowledge graphs are typically treated as static: A knowledge graph grows more links when more facts become available but the ground truth values associated with links is considered time invariant. In this paper we address the issue of knowledge graphs where triple states depend on time. We assume that changes in the knowledge graph always arrive in form of events, in the sense that the events are the gateway to the knowledge graph. We train an event prediction model which uses both knowledge graph background information and information on recent events. By predicting future events, we also predict likely changes in the knowledge graph and thus obtain a model for the evolution of the knowledge graph as well. Our experiments demonstrate that our approach performs well in a clinical application, a recommendation engine and a sensor network application.

研究の動機と目的

• イベントの影響によって時間経過とともに三元組の状態が変化する知識グラフの動的進化をモデル化すること。
• イベントを知識グラフにおける変化の主因とみなして、イベント駆動型のKG更新を可能にすること。
• 潜在表現を用いて、イベントと知識グラフの進化を統合的にモデル化する統一フレームワークの構築。
• 過去のイベントとKGの背景知識の両方を活用することで、動的ドメインにおける予測精度の向上。
• 医療、レコメンデーションシステム、センサーネットワークを含む多様な実世界応用において、手法の有効性を検証すること。

提案手法

• 時間的関係を捉えるために、知識グラフとイベントグラフをマルチウェイテンソル（KGテンソルとイベントテンソル）として表現する。
• RESCAL、TransE、またはニューラルテンソルネットワークなどのテンソル分解モデルを用いて、エンティティおよびイベントの潜在表現を学習する。
• 過去のイベントとKGエンティティの潜在表現を入力として用いる予測モデルを別個に学習し、将来のイベントを予測する。
• 連続的ドメイン（例：センサーデータ）の回帰タスクにはガウス尤度モデルを用い、ノイズ低減のため移動平均平滑化を適用する。
• 3つの予測モデルを設計：Pred1（センサ固有の履歴）、Pred2（ネットワーク全体の履歴）、Pred3（両方の入力を統合）。T=10が最適な履歴長であると判明。
• 訓練データの5%を検証用に使用し、早期停止を適用。センサーネットワーク実験では、4か月間を訓練期間、1か月間をテスト期間として設定。

実験結果

リサーチクエスチョン

• RQ1 イベントと知識グラフの進化を統合的にモデル化することで、動的ドメインにおける予測精度が向上するか？
• RQ2 KGテンソルとイベントテンソルからの潜在表現は、将来のイベント予測にどのように寄与するか？
• RQ3 イベント予測における時間的依存性を捉えるために最適な履歴長（T）は何か？
• RQ4 局所的センサ履歴とグローバルネットワーク履歴の両方を組み込むことで、予測性能にどのような影響があるか？
• RQ5 提案されたフレームワークは、医療、レコメンデーション、センサーネットワークといった多様な応用分野に一般化可能か？

主な発見

• 提案モデルは、最後の観測値予測、線形回帰、フィードフォワードニューラルネットワークなど、複数のベースラインを上回る性能を示した。特に、将来的なセンサ測定値の予測において顕著な優位性を示した。
• 個々のセンサの履歴を用いるPred1が、3つのモデルの中で最も優れた性能を達成した。これは、局所的な時間的パターンが予測に非常に有用であることを示している。
• グローバルネットワーク履歴を用いるPred2は、フィードフォワードニューラルネットワークベースラインと僅かに優れていたが、この特定のセンサーネットワーク環境では恩恵が限定的であった。
• 局所的およびグローバルな両方の入力を統合するPred3は、Pred1を上回る性能を示さなかった。これは、統合表現が余計な複雑性やノイズを導入している可能性を示唆している。
• 全モデルにおいて最適な履歴長（T）は10ステップであった。これは、時間的文脈の保持とノイズの両立を最適に達成する点で妥当であった。
• 本フレームワークは、臨床記録、ユーザの好みの進化、センサーネットワークデータという3つの異なるドメインにおいて、優れた汎用性を示した。これにより、その柔軟性と実用性が裏付けられた。