[論文レビュー] Graph schemas as abstractions for transfer learning, inference, and planning

J. Swaroop Guntupalli, Rajkumar Vasudeva Raju+7 more|arXiv (Cornell University)|Feb 14, 2023

Memory and Neural Mechanisms被引用数 6

ひとこと要約

本論文は、知覚的同一性（perceptual aliasing）を示す部分的に観察可能な環境において、迅速な転移学習、推論、計画を実現するための認知科学にインspiredされたグラフスキーマを導入する。経験から隠れグラフ構造（スキーマ）を学習し、それらを再利用することで新しい環境を構成し、最小限のデータで迅速な地図誘導と計画を達成する。この手法は、ワンショット学習タスクおよび複雑な2D/3D環境において、ベースライン手法を上回る性能を発揮する。

ABSTRACT

Transferring latent structure from one environment or problem to another is a mechanism by which humans and animals generalize with very little data. Inspired by cognitive and neurobiological insights, we propose graph schemas as a mechanism of abstraction for transfer learning. Graph schemas start with latent graph learning where perceptually aliased observations are disambiguated in the latent space using contextual information. Latent graph learning is also emerging as a new computational model of the hippocampus to explain map learning and transitive inference. Our insight is that a latent graph can be treated as a flexible template -- a schema -- that models concepts and behaviors, with slots that bind groups of latent nodes to the specific observations or groundings. By treating learned latent graphs (schemas) as prior knowledge, new environments can be quickly learned as compositions of schemas and their newly learned bindings. We evaluate graph schemas on two previously published challenging tasks: the memory & planning game and one-shot StreetLearn, which are designed to test rapid task solving in novel environments. Graph schemas can be learned in far fewer episodes than previous baselines, and can model and plan in a few steps in novel variations of these tasks. We also demonstrate learning, matching, and reusing graph schemas in more challenging 2D and 3D environments with extensive perceptual aliasing and size variations, and show how different schemas can be composed to model larger and more complex environments. To summarize, our main contribution is a unified system, inspired and grounded in cognitive science, that facilitates rapid transfer learning of new environments using schemas via map-induction and composition that handles perceptual aliasing.

研究の動機と目的

• 再利用可能で構造化された抽象化を用いて、新規環境における迅速な転移学習を統合的に実現すること。
• 複数の状態が同一の観測を出力する知覚的同一性を、事前知識としての隠れグラフ構造の学習によって解決すること。
• 以前に学習したグラフスキーマに新しい観測を照合・結合することで、迅速な推論と計画を可能にすること。
• モジュラーかつ階層的な抽象化を通じて、より複雑な環境をモデル化するためのスキーマの合成を可能にすること。
• ワンショット一般化と迅速な適応を要する挑戦的なタスクにおける手法の妥当性を検証すること。

提案手法

• 部分的に観察可能な環境における観測-行動シーケンスから高次元の隠れグラフ構造を学習するため、クローン構造を有する認知的グラフ（CSCG）モデルを活用する。
• 学習済みの隠れグラフを、新しい観測を束縛可能なスロットを備えた柔軟なスキーマとして扱い、スキーマの再利用による転移学習を実現する。
• 複数のスキーマを合成するための連合遷移テンソルを採用し、異なるスキーマ状態間の遷移をモデル化することで、合成的一般化を可能にする。
• ボルツマン推論における最大積メッセージパッシングを用いたビタビデコーディングにより、グラウンドされたスキーマ内での現在状態推定と最短経路計画を実行する。
• サイズや形状の変化に対する一般化を向上させるために、遷移テンソルに対角スムージングを適用する。
• 真の位置情報を利用した効率的なウォーク生成により、バランスの取れたデータ収集と高速収束を確保する。

実験結果

リサーチクエスチョン

• RQ1 グラフスキーマは、最小限の経験で新規環境における迅速な転移学習を可能にするか？
• RQ2 2Dおよび3D環境における観測の曖昧さを伴う知覚的同一性に対して、グラフスキーマはどの程度効果的に機能するか？
• RQ3 合成されたスキーマは、モジュラーな抽象化によって、より大きな複雑な環境をモデル化できるか？
• RQ4 エンドツーエンド学習と比較して、グラフスキーマは推論および計画の速度をどの程度向上させるか？
• RQ5 スキーマの再利用は、StreetLearn や記憶・計画ゲームのようなワンショット学習シナリオにおける性能にどの程度影響を与えるか？

主な発見

• 10,000ステップの学習で、スキーマを用いたCSCGモデルはテストNLLが0.17に達し、結合遷移グラフを完全に回復した。一方、スキーマなしの完全CSCG学習では30,000ステップを要し、テストNLLは1.21にとどまった。
• スキーマを用いた手法は、わずか10,000ステップで合成遷移グラフを完全に回復したが、ベースラインCSCG学習は30,000ステップでも収束しなかった。
• ショートカット探索タスクにおいて、スキーマベースのプランナは、部屋のサイズが変化する状況でも再プランニング回数とゴールまでのマンハッタン距離を減少させ、対角スムージングのおかげでサイズおよび形状の変化に対しても性能が向上した。
• 本手法は、記憶・計画ゲームやStreetLearnの新規バリエーションにおいて、ワンショット計画を成功裏に実行し、最小限の新規データで迅速な推論と計画を達成した。
• スキーマの合成により、より複雑な2Dおよび3D環境を、事前に学習済みの小さなスキーマを組み合わせることでモデル化でき、スケーラビリティとモularityを示した。
• 発行束縛とグラウンドされたスキーマ推論の組み合わせにより、限られた探索で200ステップのランダムウォーク後でも、正確な状態推定と経路計画が可能になった。