[논문 리뷰] Reinforcement Learning with Perturbed Rewards

Jingkang Wang, Yang Liu외 1명|arXiv (Cornell University)|2018. 10. 02.

Reinforcement Learning in Robotics참고 문헌 48인용 수 15

한 줄 요약

이 논문은 진동하는 보상에서 학습 가능한 혼동 행렬을 사용해 편향 없는 대체 보상( surrogate rewards)을 추정하는 강력한 강화학습 프레임워크를 제안한다. 이는 진짜 보상 분포에 대한 사전 지식 없이도 노이즈가 많은 환경에서 효과적으로 학습할 수 있도록 한다. 이 방법은 상태의 최고 성능을 달성하며, PPO는 다섯 종류의 Atari 게임에서 각각 10%와 30%의 노이즈 비율일 때 평균 점수를 84.6%와 80.8% 향상시킨다.

ABSTRACT

Recent studies have shown that reinforcement learning (RL) models are vulnerable in various noisy scenarios. For instance, the observed reward channel is often subject to noise in practice (e.g., when rewards are collected through sensors), and is therefore not credible. In addition, for applications such as robotics, a deep reinforcement learning (DRL) algorithm can be manipulated to produce arbitrary errors by receiving corrupted rewards. In this paper, we consider noisy RL problems with perturbed rewards, which can be approximated with a confusion matrix. We develop a robust RL framework that enables agents to learn in noisy environments where only perturbed rewards are observed. Our solution framework builds on existing RL/DRL algorithms and firstly addresses the biased noisy reward setting without any assumptions on the true distribution (e.g., zero-mean Gaussian noise as made in previous works). The core ideas of our solution include estimating a reward confusion matrix and defining a set of unbiased surrogate rewards. We prove the convergence and sample complexity of our approach. Extensive experiments on different DRL platforms show that trained policies based on our estimated surrogate reward can achieve higher expected rewards, and converge faster than existing baselines. For instance, the state-of-the-art PPO algorithm is able to obtain 84.6% and 80.8% improvements on average score for five Atari games, with error rates as 10% and 30% respectively.

연구 동기 및 목표

• 센서 노이즈, 인간 피드백의 변동성, 또는 악성 조작으로 인해 관측 가능한 보상이 훼손된 상황에서 강화학습 에이전트를 훈련하는 데 도전하는 것.
• 진짜 보상 분포나 노이즈 모델에 대한 가정을 초과해 보상 혼동 행렬 외에는 추가로 요구하지 않는 방법을 개발하는 것.
• 관측된 훼손된 보상에서 유도된 편향 없는 대체 보상으로 최적의 정책에 수렴하도록 하는 것.
• 제안된 강력한 RL 접근법의 이론적 수렴성과 표본 복잡도를 분석하는 것.
• 다양한 환경, 특히 Atari 게임과 OpenAI Gym 환경에서의 방법의 강건성과 성능 향상을 실증적으로 검증하는 것.

제안 방법

• 이 방법은 진짜 보상이 결정론적이라고 가정하고, 관측된 훼손된 보상에서 효율적이고 유연한 추정 모듈을 사용해 보상 혼동 행렬을 추정한다.
• 추정된 혼동 행렬을 역행렬하여 편향 없는 대체 보상을 구성함으로써, 에이전트가 진짜 보상을 가진 것처럼 학습할 수 있도록 한다.
• 기존의 딥강화학습 알고리즘(PPO, DQN, SAC 등)의 핵심 훈련 절차를 수정하지 않고도 프레임워크에 통합할 수 있다.
• 두 단계 학습 과정을 사용한다: 먼저 롤아웃에서 혼동 행렬을 추정하고, 그 다음 추정된 대체 보상을 정책 최적화에 사용한다.
• 이론적 분석을 통해 대체 보상 설정 하에서 Q-학습의 수렴성과 유한 표본 복잡도를 증명한다.
• 고노이즈 환경에서 표본 효율성을 향상시키기 위해 분산 감소 기법(VRT)을 적용한다.

실험 결과

연구 질문

• RQ1 진짜 보상 분포에 대한 사전 지식 없이도 훼손된 보상에서 편향 없는 대체 보상을 추정할 수 있는가?
• RQ2 표준 RL이 실패하는 고노이즈 비율(예: 30% 또는 70%) 환경에서 제안된 방법의 성능은 어떠한가?
• RQ3 대체 보상을 사용할 경우 기준선 대비 더 빠른 수렴과 더 높은 누적 기대 보상이 달성되는가?
• RQ4 진짜 행렬이 알려져 있지 않은 상황에서도 혼동 행렬 추정 모듈이 실질적으로 신속하고 정확하게 수렴할 수 있는가?
• RQ5 노이즈 제거 과정이 의도치 않게 유익한 탐색을 유도하여 진짜 보상 기준선을 초월하는 성능 향상을 가져오는가?

주요 결과

• PPO를 사용해 다섯 종류의 Atari 게임에서 각각 10%와 30%의 노이즈 비율일 때, 표준 RL에 비해 평균 점수를 각각 84.6%와 80.8% 향상시켰다.
• CartPole 환경에서, 대체 보상을 사용한 방법은 고노이즈 설정(예: 70% 노이즈 비율)에서 진짜 보상 기준선과 분산 감소 기법을 모두 초월하여 평균 수익 182.3을 달성했다.
• 혼동 행렬 추정이 매우 신속하게 수렴하며, 대부분의 설정에서 10,000단계 이내에 추정된 행렬과 기저 진리 행렬 간의 절대 차이가 0.05 이하로 떨어졌다.
• 일부 환경에서는 진짜 보상 기준선을 초월하는 성능을 달성했는데, 이는 노이즈 제거와 탐색의 조합이 학습을 향상시킬 수 있음을 시사한다.
• 이 방법은 PPO, DQN, SAC, DDPG와 같은 다양한 딥강화학습 알고리즘과 대칭적/비대칭적 노이즈 유형 모두에서 강건한 성능을 유지하며 광범위한 적용 가능성을 보였다.
• 대체 보상과 분산 감소 기법(VRT)의 통합은 특히 고노이즈 환경에서 표본 효율성을 더욱 향상시켰다.