[논문 리뷰] A Review of Uncertainty for Deep Reinforcement Learning

Owen Lockwood, Mei Si|arXiv (Cornell University)|2022. 08. 18.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 딥 강화학습(DRL)에서 불확실성 추정 기법을 검토하며, 경험적 불확실성과 앨레아토릭 불확실성에 초점을 맞춘다. 몬테카를로 드롭아웃, 앙상블, 부트스트랩 헤드와 같은 방법을 통해 DRL 에이전트에 불확실성 인식을 통합함으로써 연속 제어 및 오프라인 RL 벤치마크에서 성능 향상과 데이터 효율성 향상을 입증한다.

ABSTRACT

Uncertainty is ubiquitous in games, both in the agents playing games and often in the games themselves. Working with uncertainty is therefore an important component of successful deep reinforcement learning agents. While there has been substantial effort and progress in understanding and working with uncertainty for supervised learning, the body of literature for uncertainty aware deep reinforcement learning is less developed. While many of the same problems regarding uncertainty in neural networks for supervised learning remain for reinforcement learning, there are additional sources of uncertainty due to the nature of an interactable environment. In this work, we provide an overview motivating and presenting existing techniques in uncertainty aware deep reinforcement learning. These works show empirical benefits on a variety of reinforcement learning tasks. This work serves to help to centralize the disparate results and promote future research in this area.

연구 동기 및 목표

• 불확실성 인식 딥 강화학습에 관한 기존 연구를 통합하고 종합하는 것.
• 환경 역학과 모델 예측에서 기인하는 경험적 불확실성과 앨레아토릭 불확실성과 같은 DRL 내 핵심 불확실성 원천을 특정하고 설명하는 것.
• 불확실성 인식 기법이 다양한 벤치마크에서 성능, 데이터 효율성, 강인성 향상에 기여함을 보여주는 것.
• 특히 실생활 및 고위험 응용 분야에서 불확실성 추정 기법의 광범위한 도입을 촉진하는 것.
• 평가된 불확실성 품질 평가 및 불확실성 추정을 위한 표준화된 벤치마크 개발과 같은 열린 과제를 부각하는 것.

제안 방법

• DRL 내 불확실성을 경험적(모델 불확실성)과 앨레아토릭(데이터/환경 노이즈) 유형으로 분류하고, 이를 RL 구성 요소와 연결한다.
• 신경망 예측의 불확실성 추정을 위한 기법들인 몬테카를로 드롭아웃, 앙상블 방법, 부트스트랩 헤드를 검토한다.
• SAC, PPO 등의 액터-크리틱 알고리즘에서 크리틱에 불확실성 인식 손실 함수(예: BIV, 베이지안 역분산)를 적용한다.
• DQN과 QR-DQN과 같은 밸류 기반 방법에 불확실성 추정을 통합하지만, 분포 기반 방법보다 진정한 불확실성을 보다 효과적으로 포착하지 못함을 지적한다.
• 크리틱 내 불확실성이 액터로 전파되므로, 후속 정책 성능 향상에 있어 크리틱의 불확실성 추정이 핵심임을 강조한다.
• 기존 DRL 알고리즘에 아키텍처 전체 재설계 없이도 불확실성 추정을 점진적으로 통합할 수 있음을 강조한다.

실험 결과

연구 질문

• RQ1 딥 강화학습의 맥락에서 경험적 불확실성과 앨레아토릭 불확실성을 의미 있게 정의하고 정량화할 수 있는가?
• RQ2 특히 밸류 네트워크와 정책 네트워크에서 불확실성 추정에 가장 효과적이고 효율적인 기법은 무엇인가?
• RQ3 불확실성 추정을 통합함으로써 DRL 환경에서 샘플 효율성, 탐색, 강인성이 어떻게 향상되는가?
• RQ4 액터가 결정을 내리지만 크리틱에서의 불확실성 추정이 더 큰 영향을 미치는 이유는 무엇인가?
• RQ5 불확실성 추정 품질 평가의 핵심 과제는 무엇이며, 향후 연구에서 이를 어떻게 해결할 수 있는가?

주요 결과

• 불확실성 인식 DRL 기법은 하드 탐색 과제 및 연속 제어 벤치마크에서 성능 향상을 보이며, 오프라인 강화학습 분야에서 최고 성능 기록을 달성한다.
• 부트스트랩 헤드와 몬테카를로 드롭아웃과 같은 기법은 최소한의 아키텍처 변경으로 효과적인 불확실성 추정을 제공하여 더 나은 탐색과 강인성을 가능하게 한다.
• BIV(베이지안 역분산)와 같은 불확실성 인식 손실 함수를 크리틱의 손실 함수에 통합함으로써 SAC 및 기타 액터-크리틱 알고리즘에서 뚜렷한 성능 향상이 이루어진다.
• 실증적 성공에도 불구하고, 표준 DQN과 QR-DQN의 불확실성 추정은 진정한 불확실성을 잘 반영하지 못함을 시사하며, 밸류 기반 접근의 한계를 드러낸다.
• 크리틱에서의 불확실성이 액터로 전파되므로, 정확한 크리틱 불확실성 추정은 신뢰할 수 있는 정책 학습을 위해 필수적이다.
• 실생활 적용에서 불확실성 정량화가 더 안전하고 신뢰할 수 있는 의사결정을 가능하게 하므로, DRL에 불확실성 추정 기법을 도입할 근거가 강력하다.