[논문 리뷰] Redeeming Intrinsic Rewards via Constrained Optimization

Eric Chen, Zhang-Wei Hong외 2명|arXiv (Cornell University)|2022. 11. 14.

Reinforcement Learning in Robotics인용 수 11

한 줄 요약

이 논문은 강화학습에서 내재적 보상과 외재적 보상을 동적으로 균형 잡는 제약 최적화 프레임워크인 외재-내재 정책 최적화(EIPO)를 제안한다. 탐색을 제약 최적화 문제로 공식화함으로써, EIPO는 필요하지 않은 시점에는 내재적 보상을 자동으로 억제하고 희박한 탐색 단계에서는 이를 강화함으로써 수동적인 초모수 조정 없이 61개의 Atari 게임에서 일관된 성능 향상을 달성한다.

ABSTRACT

State-of-the-art reinforcement learning (RL) algorithms typically use random sampling (e.g., $ε$-greedy) for exploration, but this method fails on hard exploration tasks like Montezuma's Revenge. To address the challenge of exploration, prior works incentivize exploration by rewarding the agent when it visits novel states. Such intrinsic rewards (also called exploration bonus or curiosity) often lead to excellent performance on hard exploration tasks. However, on easy exploration tasks, the agent gets distracted by intrinsic rewards and performs unnecessary exploration even when sufficient task (also called extrinsic) reward is available. Consequently, such an overly curious agent performs worse than an agent trained with only task reward. Such inconsistency in performance across tasks prevents the widespread use of intrinsic rewards with RL algorithms. We propose a principled constrained optimization procedure called Extrinsic-Intrinsic Policy Optimization (EIPO) that automatically tunes the importance of the intrinsic reward: it suppresses the intrinsic reward when exploration is unnecessary and increases it when exploration is required. The results is superior exploration that does not require manual tuning in balancing the intrinsic reward against the task reward. Consistent performance gains across sixty-one ATARI games validate our claim. The code is available at https://github.com/Improbable-AI/eipo.

연구 동기 및 목표

• 내재적 보상의 일관성 없는 작용을 해결하되, 어려운 탐색 과제에서는 성능 향상을 이끌지만 쉬운 과제에서는 에이전트를 혼란스럽게 할 수 있는 문제를 해결한다.
• 내재적 및 외재적 보상을 조합할 때 고정된 초모수 λ의 한계를 극복하여, 낮은 최적화 성능을 초래하는 상호작용 조정 문제를 해결한다.
• 에이전트의 현재 탐색 필요성에 따라 내재적 보상의 영향력을 자동으로 조절할 수 있는 원칙적인 방법을 개발한다.
• 정책 최적화가 진정한 외재적 보상 목표와 일치하도록 보장하여 내재적 보상 신호로부터 발생할 수 있는 편향을 방지한다.

제안 방법

• 외재적 수익을 최대화하는 제약 조건 하에 내재적 보상 누적을 제약하는 제약 최적화 문제로 강화학습 목표를 공식화한다.
• 라그랑주 역할을 통해 이중 최적화 문제를 유도함으로써 정책과 라그랑주 승수를 동시에 갱신함으로써 내재적 보상 영향력의 적응적 제어를 가능하게 한다.
• RND 및 ICM과 같은 기존의 내재적 보상 함수와 통합하여 특정 내재적 보상 메커니즘에 종속되지 않도록 한다.
• 정책 그라디언트 프레임워크(예: PPO) 내에서 적용함으로써 외재적 및 제약된 내재적 목표를 함께 최적화하는 엔드 투 엔드 학습을 가능하게 한다.
• 학습 중 내재적 보상의 중요도를 동적으로 조절한다: 외재적 진전이 충분할 땐 억제하고, 새로운 상태 탐색이 필요한 시점에는 증가시킨다.
• 제약 조건 임계값에 대해 하나의 초모수(α)와 라그랑주 승수 갱신에 대해 다른 하나의 초모수(β)를 사용하며, 각 환경에 대해 한 번만 조정하고 실험 간에 재사용한다.

실험 결과

연구 질문

• RQ1 제약 최적화 프레임워크가 수동적인 초모수 조정 없이 내재적 및 외재적 보상을 자동으로 균형 잡을 수 있는가?
• RQ2 EIPO는 다양한 탐색 난이도를 가진 Atari 환경에서 표준 내재적 보상 방법과 외재적 보상 전용 기준보다 우월한 성능을 보일 수 있는가?
• RQ3 내재적 보상이 외재적 보상과 잘못 일치하는 경우(예: 오해의 소재가 되는 신선도 신호가 존재하는 환경), EIPO는 어떻게 성능을 유지하는가?
• RQ4 내재적 보상이 덜 중요한 밀도 높은 보상 환경인 MuJoCo에서 EIPO는 강력한 성능을 유지할 수 있는가?
• RQ5 RND와 ICM 등 다양한 내재적 보상 메커니즘에 대해 EIPO의 성능 향상은 얼마나 강인한가?

주요 결과

• EIPO-RND는 모든 기준선(외재적 보상 전용 PPO 및 노이즈 탐색을 사용한 PPO 포함)보다 61개의 Atari 게임에서 승리 확률이 0.5 초과로 뛰어나게 성능을 높였다.
• 희박한 보상으로 인해 탐색이 핵심이 되는 Montezuma’s Revenge와 같은 게임에서는 EIPO가 외재적 보상 전용 방법보다 유의미하게 높은 최종 점수를 기록했다.
• James Bond와 같은 쉬운 탐색 과제에서는 표준 내재적 보상 방법에서 관찰되는 성능 저하를 EIPO가 억제함으로써 불필요한 탐색을 방지했다.
• ICM이 오해의 소재가 되는 내재적 보상을 생성하는 환경(예: Kaboom)에서 EIPO-ICM는 PPO 성능과의 격차를 메우며 보상 일치 오류에 대한 강건성을 입증했다.
• 밀도 높은 보상 환경인 MuJoCo에서 EIPO는 PPO 및 RND 성능을 따라하거나 초월하여, 쉬운 설정에서도 성능 저하가 발생하지 않음을 확인했다.
• 환경 간 초모수 재조정 없이 일관된 성능 향상을 달성함으로써, 이 방법이 다양한 작업에 대해 적응성과 일반화 능력을 갖춘다는 점을 입증했다.