[논문 리뷰] Optimistic Exploration even with a Pessimistic Initialisation

Tabish Rashid, Bei Peng외 2명|arXiv (Cornell University)|2020. 02. 26.

Reinforcement Learning in Robotics참고 문헌 37인용 수 13

한 줄 요약

이 논문은 OPIQ를 제안하며, 신경망의 낙관적 초기화에 의존하지 않고도 깊이 있는 강화학습에서 효율적인 탐색을 보장하는 모델-무료 강화학습 알고리즘을 개발한다. OPIQ는 카운트 기반의 낙관적 보너스를 낙관적으로 초기화된 Q-값에 추가하여, 낙관적 네트워크 초기화에 의존하지 않고도 증명 가능하게 효율적인 탐색을 가능하게 한다. OPIQ는 동작 선택과 부트스트랩핑 동안 모두 낙관을 유지하며, 몬테주마의 복도와 같은 희박한 보상 환경에서 내재적 동기부여를 갖춘 기준 DQN보다 뛰어난 성능을 보인다.

ABSTRACT

Optimistic initialisation is an effective strategy for efficient exploration in reinforcement learning (RL). In the tabular case, all provably efficient model-free algorithms rely on it. However, model-free deep RL algorithms do not use optimistic initialisation despite taking inspiration from these provably efficient tabular algorithms. In particular, in scenarios with only positive rewards, Q-values are initialised at their lowest possible values due to commonly used network initialisation schemes, a pessimistic initialisation. Merely initialising the network to output optimistic Q-values is not enough, since we cannot ensure that they remain optimistic for novel state-action pairs, which is crucial for exploration. We propose a simple count-based augmentation to pessimistically initialised Q-values that separates the source of optimism from the neural network. We show that this scheme is provably efficient in the tabular setting and extend it to the deep RL setting. Our algorithm, Optimistic Pessimistically Initialised Q-Learning (OPIQ), augments the Q-value estimates of a DQN-based agent with count-derived bonuses to ensure optimism during both action selection and bootstrapping. We show that OPIQ outperforms non-optimistic DQN variants that utilise a pseudocount-based intrinsic motivation in hard exploration tasks, and that it predicts optimistic estimates for novel state-action pairs.

연구 동기 및 목표

• 증명 가능하게 효율적인 표본 알고리즘에서 중요한 역할을 하는 낙관적 초기화가 깊이 있는 강화학습에서 부족한 문제를 해결하기 위해.
• 신경망이 낙관적으로 초기화된 경우에도 새로운 상태-행동 쌍에 대한 Q-값 추정이 탐색 중에 낙관적으로 유지되도록 보장하기 위해.
• 행동 선택과 부트스트랩핑 동안 모두 낙관을 유지하는 방법을 개발하여 고차원 환경에서의 탐색 효율성을 향상시키기 위해.
• 표본 알고리즘을 깊이 있는 강화학습으로 확장하기 위해 낙관을 네트워크 가중치에서 분리하기 위해.
• 적절하게 Q-학습에 통합된 경우, 카운트 기반 보너스가 새로운 상태-행동 쌍에 대해 충분한 낙관을 제공할 수 있는지 확인하기 위해.

제안 방법

• OPIQ는 낙관적으로 초기화된 Q-값에 카운트 기반 보정을 적용한다: $ Q^{+}(s,a) := Q(s,a) + \frac{C}{(N(s,a)+1)^M} $, 여기서 $ N(s,a) $는 방문 수이며 $ C, M > 0 $은 하이퍼파라미터이다.
• 증폭된 $ Q^{+} $-값은 동작 선택과 부트스트랩핑 모두에 사용되어 학습 전반에 걸쳐 낙관이 유지됨을 보장한다.
• 이 방법은 증명 가능하게 효율적인 표본 Q-학습 알고리즘인 UCB-H에 기반하지만, 낙관적 초기화 대신 낙관적 초기화와 카운트 기반 낙관을 사용한다.
• 깊이 있는 강화학습에서 OPIQ는 고차원 공간에서 $ N(s,a) $를 추정하기 위해 기존의 상태-행동 카운팅 방법(예: 가짜 카운트)과 통합된다.
• 알고리즘은 낙관의 근원을 신경망 가중치에서 분리하여 네트워크 가중치 초기화에 의존하지 않는다.
• OPIQ는 표준 DQN 기반 아키텍처와 호환되며, n단계 부트스트랩핑과 우선순위 경험 재현과 함께 적용될 수 있다.

실험 결과

연구 질문

• RQ1 모델-무료 깊이 있는 강화학습 알고리즘이 낙관적 네트워크 초기화에 의존하지 않고도 증명 가능하게 효율적인 탐색을 달성할 수 있는가?
• RQ2 행동 선택과 부트스트랩핑 동안 낙관을 유지하는 것이 희박한 보상 환경에서 탐색을 크게 향상시키는가?
• RQ3 Q-값이 낙관적으로 초기화된 경우에도 카운트 기반 보너스가 새로운 상태-행동 쌍에 대해 충분한 낙관을 제공할 수 있는가?
• RQ4 보상 신호에만 보너스를 사용하는 내재적 동기부여 방법과 비교해 OPIQ는 어떻게 성능을 냈는가?
• RQ5 부트스트랩핑 중 낙관이 복잡한 환경(예: 몬테주마의 복도)에서 샘플 효율성과 최종 성능을 얼마나 향상시키는가?

주요 결과

• OPIQ는 몬테주마의 복도에서 가짜 카운트 기반 내재적 동기부여를 갖춘 DQN보다 뛰어난 성능을 보이며, 더 높은 에피소드 보상과 최대 에피소드 보상을 달성한다.
• OPIQ는 1250만 번째 타임스텝 이내에 몬테주마의 복도에서 12개의 방을 방문하여 다른 기준보다 뚜렷한 탐색 능력을 보여준다.
• DQN + PC와 OPIQ(낙관적 보너스 없음, OPIQ w/o OB) 간의 성능 격차는 크며, 이는 행동 선택 시 낙관이 탐색에 매우 중요하다는 것을 보여준다.
• 시각화 결과는 OPIQ의 $ Q^{+} $-값이 새로운 상태-행동 쌍에 대해 낙관적인 추정을 제공함을 확인하며, 이는 탐색을 이끄는 데 기여한다.
• 미로 환경에서 OPIQ는 낙관적 보너스를 사용할 경우, 가짜 카운트를 사용하는 모든 추정치보다 뛰어나며, 부트스트랩핑에서의 낙관의 중요성을 입증한다.
• 결과는 카운트 기반 내재적 보상만으로는 효율적인 탐색이 부족하며, OPIQ가 행동 선택과 부트스트랩핑 모두에서 낙관을 이중적으로 활용하는 것이 매우 효과적이라는 것을 보여준다.