[논문 리뷰] DisCor: Corrective Feedback in Reinforcement Learning via Distribution Correction

Aviral Kumar, Abhishek Gupta외 1명|arXiv (Cornell University)|2020. 03. 16.

Reinforcement Learning in Robotics참고 문헌 51인용 수 36

한 줄 요약

논문은 부트스트랩 RL 방법에서 보정 피드백의 부재를 확인하고, 특히 다중 작업 및 노이즈 보상 설정에서 안정성과 성능 향상을 위해 분포 보정 재가중 전략인 DisCor를 제안한다.

ABSTRACT

Deep reinforcement learning can learn effective policies for a wide range of tasks, but is notoriously difficult to use due to instability and sensitivity to hyperparameters. The reasons for this remain unclear. When using standard supervised methods (e.g., for bandits), on-policy data collection provides "hard negatives" that correct the model in precisely those states and actions that the policy is likely to visit. We call this phenomenon "corrective feedback." We show that bootstrapping-based Q-learning algorithms do not necessarily benefit from this corrective feedback, and training on the experience collected by the algorithm is not sufficient to correct errors in the Q-function. In fact, Q-learning and related methods can exhibit pathological interactions between the distribution of experience collected by the agent and the policy induced by training on that experience, leading to potential instability, sub-optimal convergence, and poor results when learning from noisy, sparse or delayed rewards. We demonstrate the existence of this problem, both theoretically and empirically. We then show that a specific correction to the data distribution can mitigate this issue. Based on these observations, we propose a new algorithm, DisCor, which computes an approximation to this optimal distribution and uses it to re-weight the transitions used for training, resulting in substantial improvements in a range of challenging RL settings, such as multi-task learning and learning from noisy reward signals. Blog post presenting a summary of this work is available at: https://bair.berkeley.edu/blog/2020/03/16/discor/.

연구 동기 및 목표

• Investigate why bootstrapped value targets fail to benefit from corrective feedback in ADP-based RL.
• Theoretically and empirically demonstrate instability and sub-optimal convergence due to data-distribution–value-function interactions.
• Develop a practical data-distribution correction method to restore corrective feedback and stabilize learning.
• Show that DisCor improves performance, particularly in multi-task and noisy-reward scenarios.

제안 방법

• Bandit과 유사한 직관과 형식적 정의를 사용하여 보정 피드백 개념을 분석한다.
• Bellman 업데이트 하에서 보정 피드를 최대화하는 최적의 데이터 분포 p_k를 도출한다.
• Q*-관련 양들을 위한 tractable surrogate를 제안하고 재플레이 버퍼 샘플을 중요 가중치로 재가중한다.
• 실용적 가중치 함수 w_k(s,a)를 exp(-gamma [P^{pi_{k-1}} Δ_{k-1}](s,a)/tau)와 비례하도록 도입한다.
• 보정/백업 오차 Δ_k를 추정하기 위한 이차 모델 Δ_phi를 학습하여 가중치 부여 및 오차 모델링에 활용한다.
• DQN/SAC 프레임워크 위에 가중된 벨만 백업과 이차 Δ 모델을 결합하는 알고리즘 DisCor를 제공한다.

실험 결과

연구 질문

• RQ1 보정 피드백이 부트스트랩 RL 방법에서 부재하는 메커니즘은 무엇입니까?
• RQ2 학습 중 보정 피드를 최대화하도록 데이터 분포를 어떻게 보정할 수 있습니까?
• RQ3 최적 분포로의 재가중이 실질적으로 안정성과 성능을 향상시키나요?
• RQ4 DisCor가 다중 작업 RL 및 노이즈 보상 학습과 같은 도전적 설정에서 어떻게 성능을 발휘합니까?

주요 결과

• ADP 방법에서 보정 피드백이 부재하여 재생 버퍼가 있더라도 수렴이 불안정하고 최적이 아님이 나타난다.
• 최적의 학습 분포 p_k는 높은 벨만 오차 영역에 더 높은 확률을 부여하되 Q*와의 근접성 역시 고려하며, tractable surrogate를 통해 이를 완화한다.
• 추정된 보정 가능성에 따라 w_k로 재생 버프의 샘플을 재가중하면 오차 누적을 줄이고 학습의 안정성을 높인다.
• DisCor는 특히 다중 작업 MT10 벤치마크에서 SAC 대비 최종 성공률이 약 50% 높아지는 등 까다로운 설정에서 성능을 개선한다(보고된 결과 기준).
• 이 접근법은 DQN 및 SAC와 같은 표준 ADP 기반 심층 RL 알고리즘과 호환되며 노이즈 보상 신호 및 다중 작업 시나리오에서 학습을 지원한다.