[논문 리뷰] Self-Imitation Advantage Learning

Johan Ferret, Olivier Pietquin외 1명|arXiv (Cornell University)|2020. 12. 22.

Reinforcement Learning in Robotics참고 문헌 49인용 수 8

한 줄 요약

이 논문은 오프-폴리시 강화학습을 위한 일반화된 자기모방 보상 학습(SAIL, Self-Imitation Advantage Learning)을 제안한다. 이는 희박한 보상과 어려운 탐색 환경에서 학습 효율성을 향상시킨다. 관측된 보상과 현재 행동가치 추정치 중 더 낙관적인 값을 사용함으로써 SAIL은 오래된 보상 문제를 완화하고, 아케이드 학습 환경에서 DQN 및 IQN 에이전트에 대해 성능을 향상시킨다. 특히 도전적인 게임에서 뚜렷한 성능 향상을 보인다.

ABSTRACT

Self-imitation learning is a Reinforcement Learning (RL) method that encourages actions whose returns were higher than expected, which helps in hard exploration and sparse reward problems. It was shown to improve the performance of on-policy actor-critic methods in several discrete control tasks. Nevertheless, applying self-imitation to the mostly action-value based off-policy RL methods is not straightforward. We propose SAIL, a novel generalization of self-imitation learning for off-policy RL, based on a modification of the Bellman optimality operator that we connect to Advantage Learning. Crucially, our method mitigates the problem of stale returns by choosing the most optimistic return estimate between the observed return and the current action-value for self-imitation. We demonstrate the empirical effectiveness of SAIL on the Arcade Learning Environment, with a focus on hard exploration games.

연구 동기 및 목표

• 원래 온-폴리시 방법을 위해 설계된 자기모방 학습을 오프-폴리시 강화학습 환경으로 일반화하기 위해.
• 오프-폴리시 자기모방에서 오래된 보상 문제를 해결하여, 낙관적인 학습 방향을 유지하기 위해.
• 기본 오프-폴리시 알고리즘(예: DQN 및 IQN)과 호환되는 일반적이고 경량의 방법을 개발하기 위해.
• 희박한 보상과 어려운 탐색 환경에서 샘플 효율성과 성능을 향상시키기 위해.
• 자기모방과 이득 학습을 연결하여 행동 갭 최대화의 이점을 결합하기 위해.

제안 방법

• SAIL은 자기모방에서 관측된 보상을 행동가치 추정치와 비교하여 더 큰 값을 선택하는 방식으로 벨만 최적성 연산자를 수정한다.
• 관측된 보상이 더 낙관적인 경우에만, 관측된 보상과 추정된 가치 간의 차이를 기반으로 보정된 보상 보너스를 사용한다.
• 행동가치 학습을 위한 표준 시간차 갱신을 유지하면서, 수정된 보상 추정치를 통해 자기모방을 통합한다.
• 명시적 및 암시적 정책 모두와 호환되며, DQN 및 IQN과 같은 표준 오프-폴리시 알고리즘에 쉽게 통합할 수 있다.
• SAIL은 이득 학습과 이론적으로 연결되어 있으며, 둘 다 행동 갭을 증대시키는 것을 목표로 하지만, SAIL은 고보상 경로의 자기모방을 통해 이를 달성한다.
• 이 방법은 타겟 네트워크 갱신에 대한 단순한 수정으로 구현되어 있으며, 기존 오프-폴리시 알고리즘에 대한 수정이 최소한이다.

실험 결과

연구 질문

• RQ1 자기모방은 오프-폴리시 강화학습 알고리즘으로 효과적으로 일반화될 수 있는가?
• RQ2 오프-폴리시 자기모방에서 오래된 보상 문제를 어떻게 완화할 수 있으며, 이로 인해 고보상 경험의 낙관성 유지가 가능할 수 있는가?
• RQ3 자기모방과 행동가치 학습을 결합하면 희박한 보상과 어려운 탐색 환경에서 성능 향상이 이루어지는가?
• RQ4 SAIL은 이득 학습과 어떻게 관련이 있으며, 상호보완적 또는 통합된 프레임워크로 볼 수 있는가?
• RQ5 SAIL은 아키텍처적 변경 없이 다양한 오프-폴리시 알고리즘에 넓게 적용될 수 있는가?

주요 결과

• SAIL은 아케이드 학습 환경 벤치마크에서 DQN 및 IQN과 같은 여러 오프-폴리시 알고리즘에서 일관되게 성능 향상을 이룬다.
• 희박한 보상으로 인해 학습이 어려운 어려운 탐색 게임인 몬테주마의 복수와 페인탈피에서 상당한 성능 향상을 달성한다.
• SAIL의 성능 향상은 오래된 보상으로 인한 성능 저하를 방지할 수 있는 낙관적인 보상 추정치 유지 능력 덕분이다.
• 기존 알고리즘에 SAIL를 통합하는 데 필요한 코드 수정이 최소한이므로, 경량적이고 실용적인 개선 방법이다.
• 실험 결과 SAIL는 이론적 연결성에 따라 행동 갭을 효과적으로 증대시키며, 이는 이론적 연결성과 일치한다.
• SAIL는 RND와 같은 내재적 동기 부여 방법과 잘 융합되며, 향후 성능 향상을 위한 잠재적 조합 가능성을 시사한다.