[논문 리뷰] Taming the Noise in Reinforcement Learning via Soft Updates

Roy Fox, Ari Pakman외 1명|arXiv (Cornell University)|2015. 12. 28.

Reinforcement Learning in Robotics참고 문헌 34인용 수 67

한 줄 요약

이 논문은 정보 이론적 정규화 항을 통해 결정론적 정책을 방지함으로써 노이즈가 많은 환경에서 가치 함수 추정 편향을 줄이는 오프-폴리시 강화 학습 알고리즘인 G-learning을 소개한다. 이 정규화 항의 펜alties를 시간에 따라 스케줄링함으로써 G-learning은 더 빠른 수렴 속도와 향상된 샘플 효율성을 달성하며, Q-러닝을 능가하고, 예측된-SARSA와 같은 온-폴리시 방법과 동등하거나 이를 초월하는 탐색 인식 학습 성능을 보인다.

ABSTRACT

Model-free reinforcement learning algorithms, such as Q-learning, perform poorly in the early stages of learning in noisy environments, because much effort is spent unlearning biased estimates of the state-action value function. The bias results from selecting, among several noisy estimates, the apparent optimum, which may actually be suboptimal. We propose G-learning, a new off-policy learning algorithm that regularizes the value estimates by penalizing deterministic policies in the beginning of the learning process. We show that this method reduces the bias of the value-function estimation, leading to faster convergence to the optimal value and the optimal policy. Moreover, G-learning enables the natural incorporation of prior domain knowledge, when available. The stochastic nature of G-learning also makes it avoid some exploration costs, a property usually attributed only to on-policy algorithms. We illustrate these ideas in several examples, where G-learning results in significant improvements of the convergence rate and the cost of the learning process.

연구 동기 및 목표

• 단단한 최대값 연산으로 인해 발생하는 편향된 가치 추정으로 인해 Q-러닝의 수렴 속도가 느려지는 노이즈가 많은 환경에서의 문제를 해결하기 위해.
• 결정론적 정책에 대한 정보 이론적 페널티를 사용하여 가치 함수를 정규화함으로써 모델 프리 강화 학습에서 추정 편향을 줄이기 위해.
• 오프-폴리시 알고리즘이 일반적으로 온-폴리시 방법에서만 사용 가능한 탐색 비용 인식을 자연스럽게 통합할 수 있도록 하기 위해.
• 학습 과정에서 탐색과 이용의 균형을 이루는 데 효과적인 정규화 계수 β의 단순하고 효과적인 스케줄링을 제공하기 위해.
• 편향 감소가 학습 속도 향상과 비용 효율성 향상에 측정 가능한 영향을 미친다는 것을 입증하기 위해.

제안 방법

• G-learning은 Q-러닝 업데이트 규칙에 정보 이론적 페널티 항을 추가하여 조기 결정론적 정책에 대한 할당을 방지하는 오프-폴리시 알고리즘을 도입한다.
• 이 페널티 항은 현재 정책과 확률적 사전 정책 간의 쿨백-라이블러 발산에 기반하며, 초기 학습 단계에서 가치 추정을 정규화한다.
• 정규화 계수 β는 시간에 따라 스케줄링되며, 초기에는 높게 설정되어 확률적 정책을 선호하고 점차 감소하여 결정론적 정책 수렴을 허용한다.
• 알고리즘은 β에 대해 선형 스케줄링을 사용하며, 실무에서 잘 작동하는 것으로 실험적으로 입증되었다.
• G-learning은 오프-폴리시 학습 능력을 유지하면서도, 확률적 정책 정규화를 통해 온-폴리시 방법과 유사한 탐색 비용 인식을 달성한다.
• 이 방법은 표준 함수 근사, 경험 재현, 기타 점진적 학습 기법과 호환된다.

실험 결과

연구 질문

• RQ1 오프-폴리시 알고리즘이 샘플 효율성을 희생시키지 않고 노이즈가 많은 환경에서 가치 함수 추정 편향을 줄일 수 있는가?
• RQ2 정책 결정론성에 대한 정보 이론적 정규화가 모델 프리 강화 학습에서 수렴 속도 향상에 기여하는가?
• RQ3 오프-폴리시 알고리즘이 예측된-SARSA와 같은 온-폴리시 방법과 유사한 탐색 비용 인식을 달성할 수 있는가?
• RQ4 탐색과 이용의 균형을 이루는 데 효과적인 정규화 계수 β의 스케줄링은 무엇인가?
• RQ5 G-learning은 Q-러닝과 온-폴리시 알고리즘에 비해 수렴 속도와 비용 효율성 측면에서 어떻게 비교되는가?

주요 결과

• G-learning은 노이즈가 많고 최적의 최대값 연산에 과적합되는 것을 방지함으로써 초기 학습 단계에서 가치 추정 편향을 크게 줄인다.
• 클리프 도메인에서 G-learning은 Q-러닝보다 더 빠르게 수렴하며, Q-러닝보다 더 신뢰성 있게 클리프를 피한다. 이는 오프-폴리시임에도 불구하고 성립한다.
• G-learning은 수렴 속도에서 예측된-SARSA를 능가하지만, 탐색 비용 효율성 측면에선 유사하거나 더 우수한 성능을 달성한다.
• 적절한 확률적 사전 정책 선택을 통해 도메인 지식을 효과적으로 통합함으로써 학습 효율성이 향상된다.
• 정규화 계수 β에 대한 선형 스케줄링은 실무에서 잘 작동하며, 탐색에서 이용으로의 부드러운 전환을 가능하게 한다.
• 실험 결과, G-learning은 여러 개의 그리드월드 환경에서 Q-러닝, 더블-Q 및 기타 기준 알고리즘보다 벨먼 오차를 더 빠르게 감소시킨다.