[논문 리뷰] Interesting Object, Curious Agent: Learning Task-Agnostic Exploration

Simone Parisi, Victoria Dean외 2명|arXiv (Cornell University)|2021. 11. 25.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 새로운 태스크에 적응하지 않는 탐색 프레임워크인 Change-Based Exploration Transfer (C-BET)를 제안한다. C-BET는 다양한 환경에서 공동으로 에이전트 중심 및 환경 중심 탐색 정책을 학습함으로써 미리 보지 않은 환경으로의 전이 성능을 향상시킨다. C-BET는 내재적 궁금증과 환경 수준의 흥미로움을 결합하여 이전 방법들을 능가하며, 다양한 테스트 시나리오에서 뛰어난 커버리지와 일관성을 달성한다.

ABSTRACT

Common approaches for task-agnostic exploration learn tabula-rasa --the agent assumes isolated environments and no prior knowledge or experience. However, in the real world, agents learn in many environments and always come with prior experiences as they explore new ones. Exploration is a lifelong process. In this paper, we propose a paradigm change in the formulation and evaluation of task-agnostic exploration. In this setup, the agent first learns to explore across many environments without any extrinsic goal in a task-agnostic manner. Later on, the agent effectively transfers the learned exploration policy to better explore new environments when solving tasks. In this context, we evaluate several baseline exploration strategies and present a simple yet effective approach to learning task-agnostic exploration policies. Our key idea is that there are two components of exploration: (1) an agent-centric component encouraging exploration of unseen parts of the environment based on an agent's belief; (2) an environment-centric component encouraging exploration of inherently interesting objects. We show that our formulation is effective and provides the most consistent exploration across several training-testing environment pairs. We also introduce benchmarks and metrics for evaluating task-agnostic exploration strategies. The source code is available at https://github.com/sparisi/cbet/.

연구 동기 및 목표

• 강화학습에서 타블루라-레사 탐색의 한계를 해결하기 위해 탐색을 수명 주기적이고 전이 가능한 과정으로 모델링하고자 한다.
• 고립된 단일 환경 탐색에서 다중 환경 사전 훈련 및 새로운 환경으로의 전이로의 패러다임 전환을 제안하고자 한다.
• 탐색의 두 구성 요소인 에이전트 중심(미래의 상태)과 환경 중심(자체적으로 흥미로운 물체)을 식별하고 모델링하고자 한다.
• 전이 설정에서 태스크에 관계없는 탐색 전략을 평가하기 위한 벤치마크와 지표를 개발하고자 한다.
• 다양한 환경에서의 학습이 탐색 정책의 일반화 및 전이 가능성 향상에 기여함을 입증하고자 한다.

제안 방법

• C-BET는 상태 방문 빈도 기반의 에이전트 중심 놀라움과 풍경 또는 자아 중심 시각적 변화 기반의 환경 중심 변화 탐지의 조합을 사용하여 탐색 정책을 학습한다.
• 이 방법은 이중 구성 요소 내재 보상 체계를 사용한다: 하나는 미탐색 상태에 대한 에이전트의 믿음 기반이고, 다른 하나는 높은 영향력을 지닌 환경 변화 기반(예: 문이나 스위치와 같은 상호작용을 유도하는 물체)이다.
• 사전 훈련은 외부 보상 없이 다수의 환경에서 수행되며, 이로써 에이전트는 전이 가능한 탐색 행동을 학습할 수 있다.
• 전이 단계에서는 사전 훈련된 정책을 더 이상 훈련 없이 새로운, 보지 않은 환경에 적용하여 커버리지와 일관성 수준을 평가한다.
• 프레임워크는 풍경 및 자아 중심 시각 인코딩을 모두 사용하여 환경 변화를 평가하며, 아블레이션 연구를 통해 두 모odalities를 결합하는 것이 중요하다는 점을 입증한다.
• 아블레이션 연구는 C-BET를 Count, Curiosity, RND, RIDE와 같은 베이스라인과 비교하여 정책 분포와 노이즈 조건 하에서의 강건성을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 환경에서 사전 훈련된 탐색 정책이 태스크 특화 보상 없이도 새로운 환경으로 효과적으로 일반화될 수 있는가?
• RQ2 에이전트 중심 탐색 구성 요소와 환경 중심 탐색 구성 요소를 결합할 경우, 단독 에이전트 중심 방법에 비해 전이 성능이 어떻게 향상되는가?
• RQ3 높은 내재적 흥미로움을 지닌 환경 물체(예: 스위치, 열쇠 등)가 효과적인 탐색을 어떻게 이끄는가?
• RQ4 환경 내 노이즈가 탐색 정책의 강건성과 전이 가능성에 어떤 영향을 미치는가?
• RQ5 다양한 환경에서의 사전 훈련이 특정 행동이나 상태에 대한 오버피팅을 얼마나 줄이는가?

주요 결과

• C-BET는 모든 새로운 환경에서 가장 높고 일관된 장면 커버리지를 달성했으며, Room 0 및 Room 1와 같은 작은 장면에서는 거의 모든 상태를 방문했고, Apt. 0 및 Hotel 0와 같은 더 큰 장면에서는 한 에피소드 내에 대부분의 상태를 커버했다.
• C-BET는 사전 훈련 및 전이 단계에서 모두 Count, Curiosity, RND, RIDE와 같은 모든 베이스라인을 능가했으며, 특히 시각적 다양성이 높은 환경에서 두드러진 성능을 보였다.
• 자아 중심 시각 인코딩 조차도 C-BET는 강력한 성능을 유지했으며, 이는 단지 풍경 기반 카운트가 아니라 자아 중심 상태 카운트와 풍경 기반 변화 탐지의 조합이 성공의 핵심이라는 것을 보여준다.
• 노이즈가 있는 환경에서도 C-BET의 정책 분포는 안정적이었으며, 'drop'에 대해 낮은 확률을 할당하고 일관된 행동 확률을 유지했다. 반면 Count는 'forward'에 과도하게 피팅되어 성능이 열 劣했다.
• 사전 훈련 중 리셋이 Count의 성능에 필수적이지만, C-BET는 리셋 없이도 강력한 전이성을 유지하여 더 높은 강건성을 보였다.
• C-BET의 정책 엔트로피는 설정에 관계없이 낮은 수준(0.74–0.99)을 유지했으며, 이는 안정적이고 집중된 행동을 의미한다. 반면 리셋이 없는 베이스라인은 노이즈 조건 하에서 거의 무작위가 되었으며 특히 성능이 열 劣했다.