[논문 리뷰] Successor-Predecessor Intrinsic Exploration

Changmin Yu, Neil Burgess외 2명|arXiv (Cornell University)|2023. 05. 24.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 희박 보상 환경에서 효율적이고 구조 인식 탐색을 가능하게 하는 새로운 내재 탐색 방법인 Successor-Predecessor Intrinsic Exploration (SPIE)를 제안한다. SPIE는 향후 상태의 점유를 반영하는 전망적 후속 표현(SR)과 과거 상태의 기대치를 캡처하는 후행 표현(PR)을 결합하여, DQN-SR 및 RND보다 훨씬 빠른 속도로 8×10⁶ 프레임만으로 Montezuma’s Revenge에서 거의 최적의 성능을 달성한다. 이는 표본 효율성과 渐近 성능 향상에 기여한다.

ABSTRACT

Exploration is essential in reinforcement learning, particularly in environments where external rewards are sparse. Here we focus on exploration with intrinsic rewards, where the agent transiently augments the external rewards with self-generated intrinsic rewards. Although the study of intrinsic rewards has a long history, existing methods focus on composing the intrinsic reward based on measures of future prospects of states, ignoring the information contained in the retrospective structure of transition sequences. Here we argue that the agent can utilise retrospective information to generate explorative behaviour with structure-awareness, facilitating efficient exploration based on global instead of local information. We propose Successor-Predecessor Intrinsic Exploration (SPIE), an exploration algorithm based on a novel intrinsic reward combining prospective and retrospective information. We show that SPIE yields more efficient and ethologically plausible exploratory behaviour in environments with sparse rewards and bottleneck states than competing methods. We also implement SPIE in deep reinforcement learning agents, and show that the resulting agent achieves stronger empirical performance than existing methods on sparse-reward Atari games.

연구 동기 및 목표

• 지역적 신호인 방문 빈도 수치가 복잡한 상태 구조(예: 병목 상태)로의 탐색을 유도하지 못하는 희박 보상 환경에서의 비효율적 탐색 문제를 해결하기 위해.
• 후행 상태의 구조 정보(후행 표현)와 전망적 상태 정보(후속 표현)를 통합하여 보다 전역적으로 인식 가능한 내재 보상 구조를 창출하기 위해.
• 이산 및 연속 MDP 모두에서 표본 효율성과 渐近 수익을 향상시키는 일반적인 내재 탐색 프레임워크를 개발하기 위해.
• DQN에 SPIE를 통합하여 최신 기술인 RND 및 DQN-SR과의 성능 비교를 통해 SPIE의 효과성을 강화학습 환경에서 검증하기 위해.
• 구조적 환경에서 생물학적으로 타당한 순환형 탐색 행동을 모델링할 잠재력을 탐색하기 위해.

제안 방법

• SPIE는 미래 상태 점유를 반영하는 후속 표현(SR)과 과거 상태의 기대치를 캡처하는 후행 표현(PR)을 조합하여 내재 보상을 구성한다.
• 내재 보상은 SR과 PR의 가중 합으로 정의되며, 이는 향후 접근 가능성과 상태 공간 내 연결성 측면에서 중요한 상태를 우선순위로 삼을 수 있도록 한다.
• 이산 MDP의 경우, SPIE는 표본 기반 SR과 PR을 사용하여 미래 및 과거 상태 방문의 기대치에 기반한 내재 보상을 계산한다.
• 연속 MDP의 경우, SPIE는 고차원 상태 공간에서 후행 구조를 캡처하기 위한 신경망 기반 일반화인 '후행 특징'을 도입한다.
• SPIE는 외부 보상에 SPIE 내재 보상을 추가하여 딥 Q네트워크(DQN)에 통합함으로써 온라인 시간 차분 학습을 가능하게 한다.
• SPIE는 모듈식 설계로 되어 있어 어떤 딥 강화학습 에이전트와도 호환되며, 기존 알고리즘에 즉각 통합할 수 있다.

실험 결과

연구 질문

• RQ1 과거(후행) 정보와 미래(후속) 정보를 통합하면 희박 보상 환경에서 탐색 효율성이 향상되는가?
• RQ2 지난 방문 수나 미래 가능성에만 의존하는 방법과 비교해 SPIE는 병목 상태를 더 효과적으로 식별하고 통과할 수 있는가?
• RQ3 RND 및 DQN-SR과 같은 최신 내재 탐색 방법과 비교할 때, SPIE는 Atari 게임에서 표본 효율성과 渐近 성능 측면에서 어떤가?
• RQ4 외부 형상 조정 없이도 SPIE는 구조적 격자 환경에서 클러스터 간 순환 행동과 같은 생물학적으로 타당한 탐색 행동을 생성할 수 있는가?
• RQ5 딥 강화학습 에이전트에 SPIE를 통합했을 때, 이는 이산 및 연속 제어 과제에서 학습 동역학과 최종 성능에 어떤 영향을 미치는가?

주요 결과

• SPIE는 단지 약 8×10⁶ 훈련 프레임만으로 Montezuma’s Revenge에서 거의 渐近 성능에 도달했으며, DQN-SR는 더 낮은 점수에 도달하기까지 약 2.4×10⁷ 프레임이 소요되었다.
• Freeway 환경에서 SPIE는 DQN, DQN-MMC, RND, DQN-SR을 모두 능가하여 평균 점수 27.5(±0.2)를 기록했으며, RND(28.2)와 DQN-SR(29.4)보다 뛰어났다.
• Gravitar에서 SPIE는 평균 점수 1223.0(±408.9)를 기록하여 RND(714.1)와 DQN-SR(457.4)를 크게 앞섰다.
• Private Eye에서 SPIE는 488.2(±390.9)의 점수를 기록하여 RND(61.3)와 DQN-SR(104.4)를 압도적으로 뛰어넘었으며, 복잡한 탐색 과제에서의 강건성을 입증했다.
• SPIE는 격자 환경에서 클러스터 간 순환 행동을 포함한 생물학적으로 타당한 탐색 행동을 보였으며, 이는 구조 인식 탐색을 의미한다.
• 테스트된 여섯 개의 어려운 탐색 Atari 게임 전반에 걸쳐, DQN에 SPIE를 통합한 결과 경쟁 방법보다 뛰어난 표본 효율성과 더 높은 渐近 수익을 기록하며 일관된 성능 향상을 보였다.