[論文レビュー] Learning with Memory Embeddings

Volker Tresp, Cristóbal Esteban+3 more|arXiv (Cornell University)|Nov 25, 2015

Advanced Graph Neural Networks参考文献 108被引用数 14

ひとこと要約

本論文は、共有された潜在表現を用いて、技術的表現学習モデルを人間の認知的記憶機能—意味的記憶、エピソード記憶、感覚記憶、作業記憶—にマッピングするテンソルベースのメモリ埋め込みフレームワークを提案する。『テンソル記憶仮説』を提唱し、実証的根拠を提示しながら、エンティティの潜在ベクトルが、記憶タイプをまたがる統合的学習、予測、推論を可能にすることを示している。臨床的応用および推薦モデル化の分野での応用がその有効性を裏付けている。

ABSTRACT

Embedding learning, a.k.a. representation learning, has been shown to be able to model large-scale semantic knowledge graphs. A key concept is a mapping of the knowledge graph to a tensor representation whose entries are predicted by models using latent representations of generalized entities. Latent variable models are well suited to deal with the high dimensionality and sparsity of typical knowledge graphs. In recent publications the embedding models were extended to also consider time evolutions, time patterns and subsymbolic representations. In this paper we map embedding models, which were developed purely as solutions to technical problems for modelling temporal knowledge graphs, to various cognitive memory functions, in particular to semantic and concept memory, episodic memory, sensory memory, short-term memory, and working memory. We discuss learning, query answering, the path from sensory input to semantic decoding, and the relationship between episodic memory and semantic memory. We introduce a number of hypotheses on human memory that can be derived from the developed mathematical models.

研究の動機と目的

• 技術的表現学習モデルと人間の認知的記憶システム、特に意味的記憶、エピソード記憶、作業記憶を結びつけること。
• 知識グラフ埋め込みにおける潜在ベクトル表現が、人間の記憶タイプ間の機能的・構造的関係をモデル化できるかどうかを調査すること。
• テンソル分解を用いて、感覚記憶、エピソード記憶、意味的記憶の間で学習、推論、予測を統合的にサポートする数学的フレームワークを構築すること。
• 意味的記憶がエピソード的経験の長期的蓄積から生じるのに対し、エピソード記憶が意味的文脈に依存するという仮説を検証すること。
• 記憶機能間で共有される潜在表現が、作業記憶における予測、意思決定支援、および心的シミュレーションをどのように可能にするかを探索すること。

提案手法

• 感覚記憶（U）、エピソード記憶（Z）、意味的知識グラフ（X）をそれぞれテンソルとしてモデル化し、次元は異なるが共有された潜在表現を有する。
• 一般化されたエンティティ（主語、述語、目的語）の共有された潜在表現を学習するために、結合テンソル分解を適用する。
• 潜在ベクトルによってパrameter化されたインジケータマッピング関数を用い、確率的推論によりテンソル要素（例：三項組の真偽値）を予測する。
• 焼きなまし法に基づくサンプリングを用いて、妥当な三項組を生成し、記憶の想起や過去・未来の出来事の心的イメージの再現を可能にする。
• 『テンソル記憶仮説』を提唱：明示的な知識グラフではなく、エンティティの潜在表現のみを保存すれば十分であり、これにより効率的な推論と一般化が可能になる。
• モデルのパラメータ（例：ニューラルネットワークの重み）を暗黙のスキル記憶に結びつけ、知覚学習は感覚から潜在表現へのマッピングの精錬に対応する。

実験結果

リサーチクエスチョン

• RQ1 時系列知識グラフ用の技術的埋め込みモデルが、エピソード記憶や意味的記憶といった人間の認知的記憶機能に意味的にマッピング可能か。
• RQ2 記憶タイプ間で共有される潜在表現が、作業記憶における統合的学習、予測、意思決定をどのように支援するか。
• RQ3 意味的記憶がエピソード記憶にどれほど依存しているか、逆にエピソード記憶が意味的記憶にどれほど依存しているか。この関係は、テンソル埋め込みを用いて数学的にモデル化可能か。
• RQ4 潜在表現の操作によって、心的イメージの再現や未来の出来事の予測をモデルがシミュレートできるか。
• RQ5 時刻tにおける潜在表現がエピソード記憶形成に果たす役割は何か。また、それは感覚入力を高次認知に統合するためにどのように機能するか。

主な発見

• 意味的記憶は、主語-述語-目的語の三項組としての静的知識グラフとしてモデル化される。一方、エピソード記憶は時刻インデックスが付与された三項組として表現され、時間的推論が可能になる。
• テンソル記憶仮説が成立する：エンティティの潜在表現のみを保存すれば十分であり、これにより完全な知識グラフの再構築と帰納的推論が可能になる。
• 時刻tにおける潜在表現は、すべての感覚入力を要約したものであり、感覚から記憶へのリンクを提供し、エピソード記憶形成の基盤となる。
• 意味的記憶とエピソード記憶は相互に依存する：エピソードの復号には意味的文脈が必要であり、意味的記憶はエピソード的経験の長期的蓄積として発展する。
• 潜在表現の確率的サンプリングにより、過去の記憶の想起と未来の出来事の心的シミュレーションの両方が可能になる。
• 臨床意思決定モデリング、センサーネットワーク、推薦システムにおける実証的検証により、フレームワークの有効性が確認され、手術手技、検査結果、ユーザーの好みの予測に成功している。