[논문 리뷰] Self-Imitation Learning

Junhyuk Oh, Yijie Guo외 2명|arXiv (Cornell University)|2018. 06. 14.

Innovative Teaching and Learning Methods인용 수 69

한 줄 요약

Self-Imitation Learning (SIL) 은 에이전트의 과거 우수한 결정들을 모방하여 깊은 탐험을 이끌어내고, 어려운 탐험이 필요한 Atari 게임과 MuJoCo 과제에서 성능을 향상시키는 오프-폴리시 actor-critic 방법이다.

ABSTRACT

This paper proposes Self-Imitation Learning (SIL), a simple off-policy actor-critic algorithm that learns to reproduce the agent's past good decisions. This algorithm is designed to verify our hypothesis that exploiting past good experiences can indirectly drive deep exploration. Our empirical results show that SIL significantly improves advantage actor-critic (A2C) on several hard exploration Atari games and is competitive to the state-of-the-art count-based exploration methods. We also show that SIL improves proximal policy optimization (PPO) on MuJoCo tasks.

연구 동기 및 목표

• 과거의 우수한 경험을 활용하는 것이 강화 학습 성능을 향상시킬 수 있는지 조사한다.
• 과거의 성공을 활용하는 간단한 오프폴리시 목표를 에이전트-크리틱 아키텍처에 개발한다.
• 저하-경계 소프트 Q-learning 프레임워크를 통해 이론적으로 SIL을 정당화한다.
• 어려운 탐험이 필요한 Atari 게임과 연속 제어 벤치마크에서 SIL을 실험적으로 평가한다.
• SIL이 기존 탐험 방법 및 PPO와 같은 다른 알고리즘을 보완하는지 평가한다.

제안 방법

• 누적 보상을 가진 과거 에피소드 궤적을 재생 버퍼에 저장한다.
• R > V_theta(s)일 때 업데이트되는 두 손실 구성요소 L_sil_policy와 L_sil_value를 가지는 오프폴리시 SIL 목표를 사용한다.
• (R-V_theta(s))_+를 우선순위로 하여 우선 순위 재생을 사용하여 재생 버퍼에서 샘플링한다.
• SIL을 온 폴리시 A2C 업데이트와 결합하여 A2C+SIL을 형성한다.
• SIL을 PPO로 확장하고 Atari 및 MuJoCo 과제 전반에 대해 테스트한다.
• 엔트로피 규제 RL 내에서 lower-bound-soft-Q-learning과 SIL을 연결하는 이론적 정당화를 제공한다.

실험 결과

연구 질문

• RQ1 SIL이 RL 에이전트의 탐험과 전반적인 성능을 향상시키는가?
• RQ2 SIL이 hard exploration 과제에서 카운트 기반 탐험 방법을 보완하는가?
• RQ3 SIL이 이산 제어와 연속 제어 모두에 널리 적용 가능하고 PPO와 호환되는가?
• RQ4 과거 경험을 활용하는 것이 학습에 도움을 주는 경우와 해를 이루지 못하는 조건은 무엇인가?

주요 결과

• SIL은 여러 어려운 탐험 Atari 게임에서 A2C를 향상시키고 카운트 기반 탐험 방법과도 경쟁력이 있다.
• SIL은 MuJoCo 연속 제어 과제에서도 PPO를 향상시킨다.
• 49개 Atari 게임에서 A2C+SIL은 중앙값 인간-정규화 점수와 대부분의 어려운 탐험 게임에서 A2C를 능가한다.
• SIL은 탐험 방법과 보완적이며 희귀한 긍정적 경험을 활용하여 깊은 탐험을 이끌 수 있다.
• A2C+SIL은 다수의 어려운 탐험 과제에서 최첨단 카운트 기반 방법을 능가할 수 있다.
• 일부 경우 초기 단계의 활용이 성능을 저해할 수 있어, 적응적 SIL 사용의 필요성을 시사한다.