[논문 리뷰] Sample Efficient Deep Reinforcement Learning via Uncertainty Estimation

Vincent Mai, Kaustubh Mani외 1명|arXiv (Cornell University)|2022. 01. 05.

Reinforcement Learning in Robotics인용 수 15

한 줄 요약

이 논문은 이방향 분산 강화학습(IV-RL)을 제안한다. IV-RL은 분산 네트워크와 분산 앙상블을 조합하여 가치 함수 감독의 이종 분산 불확실성을 추정함으로써 딥 강화학습의 샘플 효율성을 향상시키는 베이지안 프레임워크이다. 배치 역분산 가중치를 적용하여 동적으로 노이즈가 많은 시간 차이 타겟을 가중치를 낮춤으로써, 이방향 분산 강화학습은 이산 및 연속 제어 작업 전반에서 뚜렷한 성능 향상을 달성하며, 분산 척도 변화에 대한 민감도가 감소한다.

ABSTRACT

In model-free deep reinforcement learning (RL) algorithms, using noisy value estimates to supervise policy evaluation and optimization is detrimental to the sample efficiency. As this noise is heteroscedastic, its effects can be mitigated using uncertainty-based weights in the optimization process. Previous methods rely on sampled ensembles, which do not capture all aspects of uncertainty. We provide a systematic analysis of the sources of uncertainty in the noisy supervision that occurs in RL, and introduce inverse-variance RL, a Bayesian framework which combines probabilistic ensembles and Batch Inverse Variance weighting. We propose a method whereby two complementary uncertainty estimation methods account for both the Q-value and the environment stochasticity to better mitigate the negative impacts of noisy supervision. Our results show significant improvement in terms of sample efficiency on discrete and continuous control tasks.

연구 동기 및 목표

• 모델-프리 딥 강화학습의 샘플 비효율성 문제를 해결하기 위해, 환경의 불확실성과 예측 분산을 고려한 가치 함수 감독의 노이즈 원인을 분석한다.
• 시간 차이 학습에서의 불확실성 원인을 체계적으로 분석하여 환경의 확률성과 예측 분산을 구분한다.
• 불확실성 추정 기반 가중치를 통해 학습 안정성과 샘플 효율성을 향상시킨다.
• 불확실성 척도 변화에 관계없이 효과적인 분류 능력을 유지할 수 있는 강건하고 척도 불변의 가중치 기반 방식을 개발한다.
• 주어진 DRL 알고리즘(DQN, SAC 등)에 불확실성 추정을 통합하여 주요 아키텍처 변경 없이 적용 가능하도록 한다.

제안 방법

• 환경의 확률성으로 인한 가치 예측 노이즈를 추정하기 위해, 음의 로그우도 손실로 훈련된 분산 네트워크를 사용한다.
• 부트스트랩 샘플에 기반해 훈련된 다수의 Q-네트워크를 활용하여 예측 불확실성을 추정하는 분산 앙상블을 적용한다.
• 두 가지 불확실성 추정치를 혼합 정규분포를 통해 조합하여 각 타겟에 대한 종합적인 불확실성 측도를 생성한다.
• 배치 역분산(BIV) 가중치 적용: 샘플 가중치는 추정된 분산에 반비례하며, 최소 유효 배치 크기(MEBS)를 유지하기 위해 정규화된다.
• BIV 가중치 기반 방식은 훈련 중 분산 척도 변화가 발생하더라도 분류 능력을 유지하기 위해 동적으로 조정된다.
• DQN과 SAC에 프레임워크를 통합하며, 탐색-이용 균형을 유지하기 위해 상한 신뢰도(Bonus) 기반 탐색 전략을 적용한다.

실험 결과

연구 질문

• RQ1 딥 강화학습에서 가치 함수 감독의 불확실성 원인인 환경의 확률성과 예측 분산은 어떻게 상호작용하는가?
• RQ2 분산 네트워크와 분산 앙상블을 조합하면 단독으로 사용할 경우보다 더 신뢰할 수 있는 불확실성 추정이 가능한가?
• RQ3 추정된 불확실성 기반의 역분산 가중치가 균일하거나 히우리스틱 가중치 방식보다 DRL의 샘플 효율성을 향상시키는가?
• RQ4 제안된 BIV 가중치 기반 방식은 훈련 중 다양한 불확실성 척도에서 안정적인 성능을 유지하는가?
• RQ5 IV-RL은 UCB와 같은 옵티미즘 기반 탐색 전략과 충돌 없이 공존 가능한가?

주요 결과

• IV-RL은 MuJoCo 및 Procgen 환경에서 이산 및 연속 제어 작업 전반에서 기준 DQN 및 SAC 대비 뚜렷한 샘플 효율성 향상을 달성한다.
• 다양한 벤치마크에서 일관된 성능 향상을 기록하며, 최종 수익과 학습 속도 향상이 확인된다.
• 분산 네트워크만을 사용할 경우 성능 향상이 미미하여, 앙상블 기반 불확실성 추정이 강건성 확보에 필수적임을 시사한다.
• BIV 가중치 기반 방식은 SUNRISE나 UWAC와 같은 히우리스틱 방법보다 안정적인 분류 능력을 유지하며, 훈련 중 분산 척도 변화가 발생하더라도 뛰어난 성능을 기록한다.
• 불확실성 추정과 BIV 가중치 기반 방식의 조합은 MEBS 정규화 덕분에 분산 척도에 대한 하이퍼파rameter 튜닝 없이도 안정적인 학습을 가능하게 한다.
• 실증 결과에 따르면, IV-RL과 OFU 기반 탐색 전략은 효과적으로 공존하며, 둘 다 적용된 경우 성능 저하가 관찰되지 않는다.