[논문 리뷰] Disentangling Epistemic and Aleatoric Uncertainty in Reinforcement Learning

Bertrand Charpentier, Ransalu Senanayake외 2명|arXiv (Cornell University)|2022. 06. 03.

Reinforcement Learning in Robotics인용 수 9

한 줄 요약

이 논문은 모델-프리 강화학습에서 앨레아토릭 및 엡스티믹 불확실성을 분리하기 위해 감독학습 불확실성 방법—몬테카를로 드롭아웃, 앙상블, 딥 커널 학습, 증거 기반 네트워크—을 딥 Q-네트워크에 적응시켜 프레임워크를 제안한다. 이 방법은 훈련 중 샘플 효율성을 향상시키고, 변형된 테스트 환경으로의 일반화 능력을 높이며, OOD 탐지 성능을 향상시키며, CartPole, 애크로봇, 루나러랜더 환경에서의 실험적 검증을 통해 일반 DQN에 비해 일관된 성능 향상을 보였다.

ABSTRACT

Characterizing aleatoric and epistemic uncertainty on the predicted rewards can help in building reliable reinforcement learning (RL) systems. Aleatoric uncertainty results from the irreducible environment stochasticity leading to inherently risky states and actions. Epistemic uncertainty results from the limited information accumulated during learning to make informed decisions. Characterizing aleatoric and epistemic uncertainty can be used to speed up learning in a training environment, improve generalization to similar testing environments, and flag unfamiliar behavior in anomalous testing environments. In this work, we introduce a framework for disentangling aleatoric and epistemic uncertainty in RL. (1) We first define four desiderata that capture the desired behavior for aleatoric and epistemic uncertainty estimation in RL at both training and testing time. (2) We then present four RL models inspired by supervised learning (i.e. Monte Carlo dropout, ensemble, deep kernel learning models, and evidential networks) to instantiate aleatoric and epistemic uncertainty. Finally, (3) we propose a practical evaluation method to evaluate uncertainty estimation in model-free RL based on detection of out-of-distribution environments and generalization to perturbed environments. We present theoretical and experimental evidence to validate that carefully equipping model-free RL agents with supervised learning uncertainty methods can fulfill our desiderata.

연구 동기 및 목표

• 실제 응용에서 신뢰할 수 있고 불확실성 인식이 가능한 강화학습 에이전트가 필요하다는 문제를 해결하기 위해.
• 훈련 및 테스트 시점에서 샘플 효율성, 일반화 능력, OOD 탐지 능력을 균형 있게 고려하는 강화학습에서의 불확실성 추정을 위한 네 가지 바람직한 조건을 정의하기 위해.
• 기존의 감독학습 불확실성 방법—MC 드롭아웃, 앙상블, 딥 커널 학습, 증거 기반 네트워크—을 최소한의 아키텍처 수정으로 모델-프리 강화학습에 적응시키기 위해.
• OOD 탐지 및 도메인 시프트 일반화를 기반으로 한 실용적인 평가 프로토콜을 제안하여 강화학습에서의 불확실성 추정을 검증하기 위해.
• 분리된 불확실성 추정이 표준 제어 환경에서 학습 효율성과 강건성을 향상시킨다는 것을 보여주기 위해.

제안 방법

• 강화학습에서의 불확실성 추정을 위한 네 가지 바람직한 조건 정의: 높은 앨레아토릭 불확실성 하에서 높은 샘플 효율성, 엡스티믹 불확실성 하에서 높은 일반화 능력, 강력한 OOD 탐지 성능.
• 몬테카를로 드롭아웃, 앙상블, 딥 커널 학습, 증거 기반 네트워크의 네 가지 불확실성 추정 기법을 딥 Q-네트워크에 통합하여 앨레아토릭 및 엡스티믹 불확실성을 추정하기 위해.
• 추론 시 샘플링 전략 사용: 앨레아토릭 불확실성 추정에 '샘플링-앨레아토릭', 업스티믹 불확실성 추정에 '샘플링-업스티믹' 전략을 적용하여 탐색 및 의사결정을 안내하기 위해.
• 에피소드-그리디 기반의 불확실성 인식 탐색 적용: 업스티믹 불확실성이 탐색되지 않은 영역에서의 탐색을 장려하는 행동 선택 전략을 사용하기 위해.
• OOD 탐지 AUC-PR 및 도메인 시프트를 시뮬레이션하는 변형된 환경에서의 일반화 능력을 사용해 불확실성 성능 평가하기 위해.
• 훈련 안정성 향상 및 다양한 방법 간의 불확실성 캘리브레이션 향상을 위해 배치 정규화 및 하이퍼파라미터 튜닝 적용하기 위해.

실험 결과

연구 질문

• RQ1 앨레아토릭 및 업스티믹 불확실성을 분리하여 추정하면 DQN 훈련 중 샘플 효율성이 향상되는가?
• RQ2 불확실성 인식 DQN 에이전트는 일반 DQN에 비해 변형된 테스트 환경으로 더 잘 일반화되는가?
• RQ3 감독학습에서 유래한 불확실성 추정 방법이 강화학습 환경에서 신뢰할 수 있는 OOD 탐지 성능 유지를 하는가?
• RQ4 다양한 불확실성 추정 기법(예: 드롭아웃, 앙상블, DKL, 증거 기반 네트워크)은 강화학습에서 불확실성 캘리브레이션 및 성능 측면에서 어떻게 비교되는가?
• RQ5 불확실성 분리가 알려지지 않은 또는 이질적인 환경에서 신뢰할 수 있는 행동을 지원하는 데 어느 정도 기여하는가?

주요 결과

• 불확실성 인식 DQN 에이전트는 일반 DQN에 비해 CartPole에서 유의미하게 높은 샘플 효율성을 확보하여 훈련 중 실패 횟수를 감소시켰다.
• 루나러랜더에서는 불확실성 인식 모델이 더 안정적이고 높은 일반화 성능를 보였으며, 특히 '샘플링-업스티믹' 전략을 사용했을 때 두드러졌다.
• 네 가지 불확실성 방법(MC 드롭아웃, 앙상블, DKL, PostNet) 모두 일반 DQN보다 OOD 탐지에서 뛰어난 성능을 보였으며, AUC-PR 점수는 강력한 이상 탐지 능력을 시사했다.
• '샘플링-업스티믹' 전략은 일반화 및 OOD 탐지 성능을 일관되게 향상시켜 업스티믹 불확실성이 탐색되지 않은 상태에서의 탐색 신호로 강력한 역할을 한다는 것을 시사했다.
• 하이퍼파라미터 연구 결과, MC 드롭아웃의 샘플 수를 늘일수록 OOD 탐지 성능이 약간 향상되었고, 앙상블 성능는 네트워크 수에 대해 상대적으로 민감하지 않았다.
• 배치 정규화는 특히 딥 커널 학습 및 증거 기반 네트워크에서 잠재 표현을 유도점과 일치시키거나 노멀라이징 플로우를 정규화함으로써 모든 불확실성 방법의 안정성과 성능 향상에 기여했다.