[논문 리뷰] Causal Curiosity: RL Agents Discovering Self-supervised Experiments for Causal Representation Learning

Sumedh Sontakke, Arash Mehrjou외 2명|arXiv (Cornell University)|2020. 10. 07.

Child and Animal Learning Development참고 문헌 35인용 수 8

한 줄 요약

이 논문은 인과적 호기심(intrinsic curiosity)을 도입하여 강화학습 에이전트가 물리 환경에서 인과적 요인들을 분리해내는 자기지도 실험 행동을 자율적으로 탐색하도록 유도한다. One-Factor-at-a-Time (OFAT) 실험 방법을 모방함으로써, 에이전트는 해석 가능한 이진 양자화 표현(예: 질량, 크기, 마찰 계수)을 학습하여, 사전 테스트 일반화 성능을 향상시키고, 감독 기반 기준 대비 데이터 요구량을 약 2.5배 감소시킨다.

ABSTRACT

Animals exhibit an innate ability to learn regularities of the world through interaction. By performing experiments in their environment, they are able to discern the causal factors of variation and infer how they affect the world's dynamics. Inspired by this, we attempt to equip reinforcement learning agents with the ability to perform experiments that facilitate a categorization of the rolled-out trajectories, and to subsequently infer the causal factors of the environment in a hierarchical manner. We introduce {\em causal curiosity}, a novel intrinsic reward, and show that it allows our agents to learn optimal sequences of actions and discover causal factors in the dynamics of the environment. The learned behavior allows the agents to infer a binary quantized representation for the ground-truth causal factors in every environment. Additionally, we find that these experimental behaviors are semantically meaningful (e.g., our agents learn to lift blocks to categorize them by weight), and are learnt in a self-supervised manner with approximately 2.5 times less data than conventional supervised planners. We show that these behaviors can be re-purposed and fine-tuned (e.g., from lifting to pushing or other downstream tasks). Finally, we show that the knowledge of causal factor representations aids zero-shot learning for more complex tasks. Visit https://sites.google.com/usc.edu/causal-curiosity/home for website.

연구 동기 및 목표

• 감독 없이 물리 환경에서 인과적 요인을 탐색할 수 있도록 강화학습 에이전트를 가능하게 하기 위해.
• 행동 시퀀스를 통해 개별 인과적 요인을 고립시키는 자기지도 실험 전략을 개발하기 위해.
• 궤적 데이터로부터 인과적 요인(예: 질량, 마찰 계수)의 분리된, 해석 가능한 표현을 학습하기 위해.
• 새로운 환경에서의 사전 테스트 일반화 및 전이 학습 성능을 향상시키기 위해.
• 작업 특화 보상 대신 내재적 호기심 기반 탐색으로 보상 설계 의존도를 줄이기 위해.

제안 방법

• 다른 인과적 요인의 간섭을 최소화하면서 한 개의 인과적 요인에만 영향을 미치는 행동을 장려하기 위해, 인과적 호기심을 내재적 보상으로 도입한다.
• OFAT 방법을 영감으로 삼아, 한 번에 하나의 인과적 요인만 탐사하는 실험 행동(예: 들어 올리기, 밀기)을 설계한다.
• 인과적 호기심 보상을 사용하여 PPO로 에이전트를 훈련시켜, 개별 인과적 요인에 대한 정보 수확을 최대화하는 최적의 행동 시퀀스를 탐색하도록 한다.
• 각 레벨이 특정 인과적 요인(예: 높은/낮은 질량)의 고/저 값에 해당하는 계층적 이진 표현을 구성한다.
• 유추된 인과적 표현을 하류 정책 네트워크의 입력으로 사용하여, 새로운 작업에 대해 사전 테스트 전이를 가능하게 한다.
• 새로운 작업(예: 들어 올리기에서 밀기로 전환)을 위해 발견된 실험 행동을 재조정 및 미세조정하여 다시 훈련할 필요 없이 활용한다.

실험 결과

연구 질문

• RQ1 강화학습 에이전트는 물리 환경에서 감독 없이 개별 인과적 요인을 고립시키는 자기지도 실험 행동을 자율적으로 탐색할 수 있는가?
• RQ2 인과적 호기심은 감독 없이도 분리된, 해석 가능한 인과적 요인 표현을 도출할 수 있는가?
• RQ3 인과적 표현 지식은 하류 작업에서의 사전 테스트 일반화 성능을 향상시키는가?
• RQ4 인과적 호기심의 데이터 효율성은 감독 기반 계획 기준 대비 어떻게 비교되는가?
• RQ5 발견된 실험 행동은 새로운 작업에 재사용 및 미세조정될 수 있는가?

주요 결과

• 인과적 호기심은 질량을 추론하기 위해 블록을 들어 올리는 등 의미 있는 실험 행동을 탐색함으로써, 자기지도적이고 해석 가능한 탐색을 가능하게 한다.
• 에이전트는 궤적 데이터로부터 계층적 추론을 통해 인과적 요인(예: 질량, 크기, 마찰 계수)의 분리된, 이진 양자화 표현을 학습한다.
• 기존의 감독 기반 계획 기준 대비 동일한 작업에서 데이터 요구량을 약 2.5배 감소시킨다.
• 인과적 호기심을 가진 에이전트는 일반화 전문가 및 전문가 기반 베이스라인을 크게 능가하며 사전 테스트 전이 성능을 확보함으로써, 인과적 표현이 일반화 능력을 향상시킨다는 것을 입증한다.
• 인과적 표현 지식은 샘플 효율성을 향상시키며, 밀기나 타워 쌓기와 같은 새로운 작업에 대해 실험 행동의 성공적인 미세조정을 가능하게 한다.
• 이 방법은 새로운 환경에서 질량과 크기의 새로운 조합에 대해 강력한 사전 테스트 일반화를 달성하여, 그 견고성을 검증한다.