[논문 리뷰] Information-Directed Exploration for Deep Reinforcement Learning

Nikolay Nıkolov, Johannes Kirschner외 2명|arXiv (Cornell University)|2018. 12. 18.

Advanced Bandit Algorithms Research인용 수 11

한 줄 요약

이 논문은 수익 분포의 이종분산성 노이즈를 다루기 위해 딥 강화학습을 위한 정보 지향 샘플링(Information-Directed Sampling, IDS)을 제안한다. 이는 분포 기반 강화학습과 불확실성 인식 탐색을 융합한 것으로, 깊이 있는 Q-네트워크를 위한 실용적인 IDS 변형을 제안하여 DQN, 부트스트랩 DQN, C51와 같은 최신 기법들을 초월한다. 이는 매개변수 불확실성과 이종분산 관측 노이즈를 명시적으로 모델링함으로써 성능 향상을 이룬다.

ABSTRACT

Efficient exploration remains a major challenge for reinforcement learning. One reason is that the variability of the returns often depends on the current state and action, and is therefore heteroscedastic. Classical exploration strategies such as upper confidence bound algorithms and Thompson sampling fail to appropriately account for heteroscedasticity, even in the bandit setting. Motivated by recent findings that address this issue in bandits, we propose to use Information-Directed Sampling (IDS) for exploration in reinforcement learning. As our main contribution, we build on recent advances in distributional reinforcement learning and propose a novel, tractable approximation of IDS for deep Q-learning. The resulting exploration strategy explicitly accounts for both parametric uncertainty and heteroscedastic observation noise. We evaluate our method on Atari games and demonstrate a significant improvement over alternative approaches.

연구 동기 및 목표

• 고전적 탐색 전략이 이종분산 관측 노이즈를 고려하지 못하는 한계를 해결하기 위해.
• 밴딧 문제에서의 정보 지향 샘플링(Information-Directed Sampling, IDS)을 큰 상태 공간에서의 딥 강화학습으로 확장하기 위해.
• 분포 기반 강화학습과 불확실성 추정을 활용한 실용적이고 계산 가능한 IDS 기반 탐색 전략을 개발하기 위해.
• 이종분산 노이즈를 고려할 경우 딥 강화학습에서 성능 향상이 뚜렷하게 이루어지는지 경험적으로 검증하기 위해.
• 딥 강화학습 환경에서 IDS가 톰슨 샘플링과 UCB 기반 방법을 능가하는지 보여주기 위해.

제안 방법

• 딥 Q-학습을 위한 새로운 IDS 기반 탐색 전략을 제안하여 손실와 정보 수확의 균형을 이룹니다.
• 수익 분포를 모델링하기 위해 분포 기반 Q-학습(C51)을 사용하여 이종분산 분산의 추정이 가능하도록 합니다.
• Bootstrapped DQN와 유사하게 Q-네트워크 헤드의 앙상블을 통해 매개변수 불확실성을 추정합니다.
• Q-값 추정의 불확실성과 수익 분포의 분산을 결합하여 IDS 목표의 계산 가능한 근사치를 유도합니다.
• 기대 손실과 기대 정보 수확을 모두 포함하는 수정된 손실 함수를 사용하며, 수치적 안정성을 확보하기 위해 분산의 하한을 설정합니다.
• 표준 하이퍼파rameter를 사용하여 Adam으로 에이전트를 훈련시키며, $Υ$-그리디 탐색 전략을 IDS 기반 행동 선택으로 대체합니다.

실험 결과

연구 질문

• RQ1 정보 지향 샘플링(Information-Directed Sampling, IDS)은 큰 상태 공간에서의 딥 강화학습에 효과적으로 적용될 수 있는가?
• RQ2 수익 분포의 이종분산 노이즈를 고려할 경우, 딥 강화학습에서 탐색과 성능이 향상되는가?
• RQ3 딥 Q-학습 환경에서 IDS는 톰슨 샘플링과 UCB 기반 탐색에 비해 어떻게 비교되는가?
• RQ4 분포 기반 강화학습 방법은 IDS의 성능 향상에 기여하는가?
• RQ5 IDS의 성능 향상 요인이 더 나은 불확실성 모델링인지, 또는 더 나은 정보 수확 추정에 기인하는가?

주요 결과

• 200M 훈련 프레임 이후 C51-IDS는 아타리 2600에서 평균 인간 정규화 점수 174.8을 기록하여 C51(135.5)와 유의미하게 높은 성능을 보였다.
• DQN-IDS는 평균 인간 정규화 점수 기준으로 부트스트랩 DQN보다 약 200% 높은 성능을 보였으며, 이는 IDS가 톰슨 샘플링보다 유의미한 이점을 제공한다는 것을 입증한다.
• C51-IDS는 위험 감수성에 특화된 IQN보다 약간 높은 성능을 기록했으며, 이는 IDS의 유연성을 시사한다.
• DQN-IDS와 C51-IDS 간의 성능 격차는 이종분산 노이즈 모델링이 성능 향상의 핵심 요소임을 시사한다.
• 분산 하한을 생략한 실험에서는 평균 인간 정규화 점수에 23% 이내의 변화만 나타나, 방법의 강건성을 확인했다.
• 초기 결과는 IDS가 DDPG와 같은 연속 제어 방법으로도 확장 가능할 수 있음을 시사하며, 더 넓은 적용 가능성을 보여준다.