[논문 리뷰] Estimating Risk and Uncertainty in Deep Reinforcement Learning

William R. Clements, Bastien Van Delft외 3명|arXiv (Cornell University)|2019. 05. 23.

Reinforcement Learning in Robotics참고 문헌 59인용 수 55

한 줄 요약

본 논문은 딥 RL의 반환 분포에서 에피스테믹 불확실성과 에일레이토릭 불확실성을 해소하고 편향 없이 추정하는 이론적 프레임워크를 제시하며, 안전한 학습 및 성능을 향상시키는 불확실성 인지 UA-DQN을 도입합니다.

ABSTRACT

Reinforcement learning agents are faced with two types of uncertainty. Epistemic uncertainty stems from limited data and is useful for exploration, whereas aleatoric uncertainty arises from stochastic environments and must be accounted for in risk-sensitive applications. We highlight the challenges involved in simultaneously estimating both of them, and propose a framework for disentangling and estimating these uncertainties on learned Q-values. We derive unbiased estimators of these uncertainties and introduce an uncertainty-aware DQN algorithm, which we show exhibits safe learning behavior and outperforms other DQN variants on the MinAtar testbed.

연구 동기 및 목표

• RL에서 데이터 제한으로 인한 에피스테믹 불확실성과 환경 난수로 인한 에일레이토릭 불확실성의 구분 필요성에 대한 동기를 부여한다.
• 배운 Q-value들에 대해 분포적 RL 안에서 이 불확실성들을 독립적으로 추정하는 이론적 프레임워크를 개발한다.
• 베이지안 해석을 기반으로 한 분위 다이내믹 f quantile networks의 추정치를 바탕으로 두 불확실성에 대해 편향 없는 추정치를 제공한다.
• 불확실성 추정치를 불확실성 인지 DQN에서 활용하여 안전성과 성능을 개선한다.

제안 방법

• 네트워크가 N개의 분위수를 출력하고 분위수 회귀 손실로 학습하는 방식으로 반환 분포의 분위수 예측을 모델링한다.
• 비대칭 람다 분포를 기반으로 한 가능도에 의해 분위수 학습을 베이지안 추론으로 프레이밍한다.
• 에피스테믹 불확실성을 후방 샘플들에 대한 분위수 출력의 분산으로 정의하고, 에일레이토릭 불확실성을 후방 평균 분위수 출력의 분산으로 정의한다.
• 네트워크 가중치의 두 개의 후방 샘플(두 개의 보조 네트워크)만 사용하여 두 불확실성의 편향 없는 추정치를 제안한다.
• 총 불확실성을 에피스테믹 및 에일레이토릭 구성요소의 합으로 분해하고 편향 없는 성질을 검증한다(정리 2.1–2.3).
• UA-DQN을 도입하여 보조 네트워크를 사용해 불확실성을 추정하고 위험(에일레이토릭)과 탐색(에피스테믹)을 위한 행동 선택을 조정한다.

실험 결과

연구 질문

• RQ1 분포적 RL에서 에피스테믹 불확실성과 에일레이토릭 불확실성을 동시에 해체하고 추정할 수 있는가?
• RQ2 실용적인 프레임워크 내에서 두 불확실성 유형에 대해 편향 없는 추정치를 도출할 수 있는가?
• RQ3 불확실성 추정치가 딥 큐-러닝의 위험에 민감한 의사결정 및 탐색을 개선하는가?
• RQ4 UA-DQN이 벤치마크 과제에서 표준 QR-DQN 및 다른 DQN 변형보다 우수한가?

주요 결과

• RL에서 반환 분포의 에피스테믹 불확실성과 에일레이토릭 불확실성을 해체하기 위한 이론적 프레임워크가 개발된다.
• 두 가지 후방 가중치 샘플과 분포적 분위수 출력에 의존하는 두 불확실성에 대한 편향 없는 추정치를 도출한다.
• 제안된 프레임워크에서 반환 분포에 대한 총 불확실성은 에피스테믹 불확실성과 에일레이토릭 불확실성의 합과 같다.
• 두 개의 보조 네트워크를 통해 불확실성을 실용적으로 추정하고 편향 없는 특성을 갖도록 한다.
• UA-DQN은 에일레이토릭 불확실성을 이용해 위험한 행동을 페널티하고, 에피스테믹 불확실성을 이용해 탐색을 촉진하여 안전성과 탐색을 개선한다.
• 실험 결과 UA-DQN이 MinAtar에서 QR-DQN 및 다른 DQN 변형보다 우수하며, windy gridworld 위험 시나리오에서 더 안전한 학습 행동을 보여준다.