[논문 리뷰] Graph schemas as abstractions for transfer learning, inference, and planning

J. Swaroop Guntupalli, Rajkumar Vasudeva Raju외 7명|arXiv (Cornell University)|2023. 02. 14.

Memory and Neural Mechanisms인용 수 6

한 줄 요약

이 논문은 부분 관찰 가능한 환경에서 인지적으로 영감을 받은 추상화 기법으로 그래프 스키마를 도입하여 빠른 전이 학습, 추론 및 계획을 가능하게 한다. 경험에서 잠재적 그래프 구조(스키마)를 학습하고 이를 재사용하여 새로운 환경을 구성함으로써, 최소한의 데이터로도 빠른 지도 유도 및 계획을 달성하며, 일회성 학습 과제와 복잡한 2D/3D 환경에서 기준선 방법들을 능가한다.

ABSTRACT

Transferring latent structure from one environment or problem to another is a mechanism by which humans and animals generalize with very little data. Inspired by cognitive and neurobiological insights, we propose graph schemas as a mechanism of abstraction for transfer learning. Graph schemas start with latent graph learning where perceptually aliased observations are disambiguated in the latent space using contextual information. Latent graph learning is also emerging as a new computational model of the hippocampus to explain map learning and transitive inference. Our insight is that a latent graph can be treated as a flexible template -- a schema -- that models concepts and behaviors, with slots that bind groups of latent nodes to the specific observations or groundings. By treating learned latent graphs (schemas) as prior knowledge, new environments can be quickly learned as compositions of schemas and their newly learned bindings. We evaluate graph schemas on two previously published challenging tasks: the memory & planning game and one-shot StreetLearn, which are designed to test rapid task solving in novel environments. Graph schemas can be learned in far fewer episodes than previous baselines, and can model and plan in a few steps in novel variations of these tasks. We also demonstrate learning, matching, and reusing graph schemas in more challenging 2D and 3D environments with extensive perceptual aliasing and size variations, and show how different schemas can be composed to model larger and more complex environments. To summarize, our main contribution is a unified system, inspired and grounded in cognitive science, that facilitates rapid transfer learning of new environments using schemas via map-induction and composition that handles perceptual aliasing.

연구 동기 및 목표

• 재사용 가능한 구조적 추상화를 사용하여 새로운 환경에서 빠른 전이 학습을 위한 통합 시스템을 개발한다.
• 다른 상태가 동일한 관측을 내보내는 인지적 오진 문제를 해결하기 위해, 사전 지식으로서의 잠재적 그래프 구조를 학습한다.
• 이전에 학습한 그래프 스키마에 새로운 관측을 매칭하고 바인딩함으로써, 신속한 추론과 계획을 가능하게 한다.
• 모듈러하고 계층적인 추상화를 통해 점차 더 복잡한 환경을 모델링하기 위해 스키마 조합을 가능하게 한다.
• 일회성 일반화와 빠른 적응이 요구되는 도전적인 과제에서 접근 방식을 검증한다.

제안 방법

• 부분 관찰 가능한 환경에서 관측-행동 시퀀스로부터 고차원 잠재적 그래프 구조를 학습하기 위해 클론 구조적 인지 그래프(CSCG) 모델을 활용한다.
• 학습된 잠재적 그래프를 관찰에 바인딩할 수 있는 슬롯을 가진 유연한 스키마로 간주하여, 스키마 재사용을 통한 전이 학습을 가능하게 한다.
• 다중 스키마를 조합하기 위해 공동 전이 텐서를 사용하여, 다양한 스키마 상태 간의 전이를 모델링하고 구성적 일반화를 가능하게 한다.
• 최대 제품 메시지 전파를 사용한 비터비 디코딩을 통해 기반화된 스키마에서 현재 상태를 추론하고 최단 경로를 계획한다.
• 전이 텐서에 대각선 스무딩을 적용하여, 새로운 환경에서 크기와 형태의 변형에 대한 일반화 능력을 향상시킨다.
• 정답 위치 지식을 활용한 효율적 워크 생성을 통해 균형 잡힌 데이터 수집과 빠른 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 그래프 스키마는 최소한의 경험으로도 새로운 환경에서 빠른 전이 학습을 가능하게 할 수 있는가?
• RQ2 2D 및 3D 환경에서 관측의 모호성으로 인한 인지적 오진을 그래프 스키마는 얼마나 효과적으로 다룰 수 있는가?
• RQ3 조합된 스키마는 모듈러한 추상화를 통해 더 크고 복잡한 환경을 모델링할 수 있는가?
• RQ4 엔드 투 엔드 학습과 비교했을 때 그래프 스키마는 추론 및 계획 속도를 어느 정도 향상시키는가?
• RQ5 스키마 재사용은 StreetLearn와 기억 및 계획 게임과 같은 일회성 학습 시나리오에서 성능에 어떤 영향을 미치는가?

주요 결과

• 10,000개의 학습 스텝을 거친 스키마 기반 CSCG 모델은 테스트 NLL 0.17을 기록하며 공동 전이 그래프를 완벽하게 복구했고, 스키마 없이 전체 CSCG 학습을 수행한 경우 30,000개의 스텝이 필요했으며 테스트 NLL는 1.21을 기록했다.
• 스키마 기반 방법은 단 10,000개의 스텝으로 복합 전이 그래프를 완벽하게 복구했고, 기준선 CSCG 학습은 30,000개의 스텝이 넘도록 수렴하지 못했다.
• 단축 경로 찾기 과제에서 스키마 기반 플래너는 다양한 방 크기에서 재플래닝 횟수와 목표지점까지의 맨하탄 거리를 줄였으며, 대각선 스무딩 덕분에 크기 및 형태의 변형 상황에서 성능이 향상되었다.
• 메모리 및 계획 게임과 StreetLearn의 새로운 변형 환경에서 일회성 플래닝을 성공적으로 수행했으며, 최소한의 새로운 데이터로도 빠른 추론과 계획을 달성했다.
• 스키마 조합을 통해 작은 사전 학습된 스키마들을 조합함으로써 복잡한 2D 및 3D 환경을 모델링할 수 있었으며, 확장성과 모듈성을 입증했다.
• 방출 바인딩과 기반화된 스키마 추론의 사용으로, 제한된 탐색 범위에서 200단계의 랜덤 워크 이후에도 정확한 상태 추정과 경로 계획이 가능했다.