[논문 리뷰] Theory-based Causal Transfer: Integrating Instance-level Induction and Abstract-level Structure Learning

Mark Edmonds, Xiaojian Ma외 4명|arXiv (Cornell University)|2019. 11. 25.

Reinforcement Learning in Robotics참고 문헌 29인용 수 4

한 줄 요약

이 논문은 동적 환경에서 강건한 지식 전이를 가능하게 하기 위해 개별 사례 수준의 연관 학습과 추상 수준의 원인 구조 학습을 통합하는 이론 기반의 원인 전이 프레임워크를 제안한다. 상호작용에서 원인 모델을 베이지안 추론을 통해 학습함으로써, 에이전트는 OpenLock '탈출 방' 환경에서 인간 수준의 전이 성능를 달성하며, 상태-행동 연관에 의존하고 구조적 추상화가 없는 모델리스 강화학습 에이전트가 시험 간 일반화에 실패하는 것과 대비된다.

ABSTRACT

Learning transferable knowledge across similar but different settings is a fundamental component of generalized intelligence. In this paper, we approach the transfer learning challenge from a causal theory perspective. Our agent is endowed with two basic yet general theories for transfer learning: (i) a task shares a common abstract structure that is invariant across domains, and (ii) the behavior of specific features of the environment remain constant across domains. We adopt a Bayesian perspective of causal theory induction and use these theories to transfer knowledge between environments. Given these general theories, the goal is to train an agent by interactively exploring the problem space to (i) discover, form, and transfer useful abstract and structural knowledge, and (ii) induce useful knowledge from the instance-level attributes observed in the environment. A hierarchy of Bayesian structures is used to model abstract-level structural causal knowledge, and an instance-level associative learning scheme learns which specific objects can be used to induce state changes through interaction. This model-learning scheme is then integrated with a model-based planner to achieve a task in the OpenLock environment, a virtual ``escape room'' with a complex hierarchy that requires agents to reason about an abstract, generalized causal structure. We compare performances against a set of predominate model-free reinforcement learning(RL) algorithms. RL agents showed poor ability transferring learned knowledge across different trials. Whereas the proposed model revealed similar performance trends as human learners, and more importantly, demonstrated transfer behavior across trials and learning situations.

연구 동기 및 목표

• 표면적 특징는 다르지만 공통된 기계적 메커니즘을 공유하는 환경 간 원인 지식을 전이하는 도전 과제를 해결한다.
• 모델리스 강화학습의 한계를 극복한다. 이는 상태-행동 연관에 의존하고 구조적 추상화가 없기 때문에 일반화에 실패하기 때문이다.
• 하나의 세계 모델을 형성하기 위해 하부에서 상향하는 연관 학습과 상향에서 하향하는 원인 구조 유도를 결합한 하이브리드 학습 시스템을 개발한다.
• 원인적 구조가 동일한 새로운 환경 간 일반화를 가능하게 하기 위해, 불변 원인 구조와 재사용 가능한 원인 가설을 학습한다.
• 원인 이론 유도를 모델 기반 계획과 통합함으로써 인간 수준의 전이 행동을 달성할 수 있음을 입증한다. 이는 복잡한 계층적 과제에서도 성립한다.

제안 방법

• 상호작용에서 원인 이론을 유도하기 위해 베이지안 프레임워크를 사용한다. 원인 가설을 증거에 따라 갱신되는 확률적 믿음으로 간주한다.
• 추상 수준의 원인 관계를 표현하기 위해 계층적 베이지안 구조를 사용한다. 이는 공통된 메커니즘을 공유하는 도메인 간 일반화를 가능하게 한다.
• 특정 물체 상호작용(예: 레버 밀기/당기기)을 관측 가능한 상태 변화에 매핑하는 개별 사례 수준의 연관 학습 체계를 구현한다.
• 학습된 원인 모델을 모델 기반 계획기와 통합하여 OpenLock 가상 환경에서 행동 선택을 안내한다.
• 활동적 탐색을 활용하여 원인 가설을 테스트하고 개선하며, 결과에 기반해 원인 가설 공간의 믿음 분포를 갱신한다.
• 학습 과정을 구조화된 가설 공간에서의 믿음 갱신 메커니즘으로 형식화한다. 여기서 각 가설은 잠재적인 원인 메커니즘을 인코딩한다.

실험 결과

연구 질문

• RQ1 개별 사례 수준의 연관 학습과 추상 수준의 원인 구조 학습을 융합한 하이브리드 학습 시스템이 유사하지만 다른 환경 간 효과적인 지식 전이를 가능하게 하는가?
• RQ2 원인 이론 유도를 모델 기반 계획과 통합함으로써, 계층적 과제에서 모델리스 강화학습에 비해 일반화 능력이 어떻게 향상되는가?
• RQ3 왜 인간 학습자와 제안된 모델은 시험 간 전이 가능한 행동을 보이며, 모델리스 강화학습 에이전트는 일반화에 실패하는가?
• RQ4 복잡한 환경에서 실패 경로를 줄이고 계획 효율성을 향상시키는 데 원인 추상화는 어떤 역할을 하는가?
• RQ5 활동적 탐색을 통해 정확한 원인 구조를 발견할 수 있도록 유지하면서, 가설 공간의 열거를 어떻게 확장 가능하게 할 수 있는가?

주요 결과

• 제안된 모델는 인간 학습 행동을 반영하는 일관된 성능 추세를 보였지만, 모델리스 강화학습 에이전트는 시험 간 지식 전이에 실패했다.
• CC(일관된 구성) 조건에서, 에이전트는 불변 원인 구조를 식별함으로써 안정적인 성공을 달성하여 표면적 변화에 강건함을 입증했다.
• CE(변동 환경) 조건에서, 에이전트는 원인적 추상화를 고려한 추론 능력 덕분에 더 복잡한 실패 경로를 성공적으로 통과했으며, 이는 모델리스 강화학습 에이전트와 대비된다.
• 구조적 불변성은 있지만 외관적 변동성이 있는 환경에서, 모델은 작업 완료율과 샘플 효율성 면에서 베이스라인 강화학습 알고리즘을 모두 능가했다.
• 에이전트의 일반화 능력은 이중 학습 메커니즘 덕분이었다. 즉, 특정 개별 사례 수준의 상호작용과 동시에 추상적 원인 구조를 동시에 학습했다.
• 연구에서 놀라운 비대칭성이 드러났다: CE 조건은 CC보다 더 많은 실패 경로를 가졌지만, 모델은 원인 추상화와 가설 테스팅을 통해 이를 효과적으로 처리했다.