[논문 리뷰] G-Learning: Taming the Noise in Reinforcement Learning via Soft Updates.

Roy Fox, Ari Pakman외 1명|arXiv (Cornell University)|2015. 12. 28.

Reinforcement Learning in Robotics참고 문헌 25인용 수 7

한 줄 요약

G-learning는 소프트 업데이트를 적용하고 결정론적 정책을 제재함으로써 초기 학습에서 노이즈에 의한 편향을 완화하는 새로운 오프-폴리시 강화학습 알고리즘으로, 노이즈가 많고 탐색 위험이 높은 환경에서 더 빠른 수렴 속도와 낮은 학습 비용을 달성한다. 최적 행동에 대한 사전 분포를 통합하여 최적 행동 공간에서의 노이즈를 정규화하고, Q-학습보다 노이즈가 있는 환경과 없는 환경 모두에서 뛰어난 성능을 보인다.

ABSTRACT

Model-free reinforcement learning algorithms such as Q-learning perform poorly in the early stages of learning in noisy environments, because much effort is spent on unlearning biased estimates of the state-action function. The bias comes from selecting, among several noisy estimates, the apparent optimum, which may actually be suboptimal. We propose G-learning, a new off-policy learning algorithm that regularizes the noise in the space of optimal actions by penalizing deterministic policies at the beginning of the learning. Moreover, it enables naturally incorporating prior distributions over optimal actions when available. The stochastic nature of G-learning also makes it more cost-effective than Q-learning in noiseless but exploration-risky domains. We illustrate these ideas in several examples where G-learning results in significant improvements of the learning rate and the learning cost.

연구 동기 및 목표

• 모델-프리 강화학습 알고리즘인 Q-학습이 상태-행동 가치 추정치에 편향이 생기면서 노이즈가 많은 환경에서 성능이 떨어지는 문제를 해결하기 위해.
• 초기 학습 단계에서 최적 행동 공간에서의 노이즈를 정규화함으로써 편향된 추정치를 다시 학습할 필요를 줄이기 위해.
• 분포 정규화를 통해 최적 행동에 대한 사전 지식을 자연스럽게 통합하기 위해.
• 탐색 위험이 높은 노이즈가 없는 도메인에서 비용 효율성을 향상시키기 위해 초기에 확률적 정책을 선호함으로써.

제안 방법

• 새로운 Q-값 추정치를 점진적으로 통합하는 소프트 업데이트 메커니즘을 도입하여 노이즈가 많은 샘플에 대한 민감도를 낮춘다.
• 초기 훈련 단계에서 결정론적 정책에 대한 페널티를 적용하여 열악한 행동에 조기 할당되는 것을 막는다.
• 탐색을 유지하고 초기 학습 단계에서의 분산을 줄이기 위해 확률적 정책 업데이트 전략을 사용한다.
• 최적 행동에 대한 사전 분포를 업데이트 규칙에 정규화 항으로 통합하여 정보 기반 탐색을 가능하게 한다.
• 과도하게 노이즈가 많은 최댓값에 과적합되는 것을 방지하기 위해 액션 선택 과정에서 소프트맥스 유사 업데이트를 사용한다.
• 오프-폴리시 설정에서 작동하여 안정성을 유지하면서도 효율적인 경험 재사용과 리플레이를 가능하게 한다.

실험 결과

연구 질문

• RQ1 G-learning는 Q-값 추정치에 높은 노이즈가 있는 환경에서 학습 효율성을 어떻게 향상시키는가?
• RQ2 훈련 초반에 결정론적 정책에 페널티를 적용함으로써 편향을 줄이고 수렴 속도를 높일 수 있는 정도는 어느 정도인가?
• RQ3 최적 행동에 대한 사전 지식를 효과적으로 학습 과정에 통합할 수 있는가? 이는 샘플 효율성을 향상시키는가?
• RQ4 노이즈가 없지만 탐색 위험이 높은 도메인에서 G-learning은 Q-학습보다 학습 비용과 강건성 측면에서 어떻게 비교되는가?
• RQ5 소프트 업데이트가 노이즈가 많은 설정에서 가치 함수 학습의 안정성과 성능에 어떤 영향을 미치는가?

주요 결과

• G-learning는 편향된 Q-값 추정치를 다시 학습할 필요를 줄임으로써 노이즈가 많은 환경에서 학습 속도를 크게 향상시킨다.
• 초기 정책 업데이트에서의 확률성 유지로 학습 비용을 줄여주며, 이는 탐색 위험이 높은 도메인에서 尤히 유익하다.
• 최적 행동에 대한 사전 분포를 통합함으로써 수렴 속도 향상과 더 나은 샘플 효율성 달성.
• G-learning는 노이즈가 있는 환경과 없는 환경 모두에서 Q-학습을 능가하며, 다양한 설정에서 강건성을 입증한다.
• 소프트 업데이트 메커니즘은 Q-값 추정에서 노이즈가 많은 최댓값의 영향을 완화함으로써 학습 안정성을 높인다.
• 실험 결과 G-learning는 베이스라인 Q-학습 대비 더 빠른 수렴 속도와 낮은 성능 변동성을 보였다.