[논문 리뷰] A New Softmax Operator for Reinforcement Learning.

Kavosh Asadi, Michael L. Littman|arXiv (Cornell University)|2016. 12. 16.

Reinforcement Learning in Robotics참고 문헌 20인용 수 7

한 줄 요약

이 논문은 강화학습을 위한 새로운 소프트맥스 연산자를 제안하며, 비틀림이 없고 미분 가능성을 보장함으로써 기존 볼츠만 소프트맥스의 불안정성과 최적화되지 않은 행동을 해결한다. 새로운 연산자는 안정적인 학습과 기울기 기반 최적화를 가능하게 하며, 실험 결과 기존 방법들보다 더 빠른 수렴과 향상된 성능을 보여준다.

ABSTRACT

A softmax operator applied to a set of values acts somewhat like the maximization function and somewhat like an average. In sequential decision making, softmax is often used in settings where it is necessary to maximize utility but also to hedge against problems that arise from putting all of one's weight behind a single maximum utility decision. The Boltzmann softmax operator is the most commonly used softmax operator in this setting, but we show that this operator is prone to misbehavior. In this work, we study an alternative softmax operator that, among other properties, is both a non-expansion (ensuring convergent behavior in learning and planning) and differentiable (making it possible to improve decisions via gradient descent methods). We provide proofs of these properties and present empirical comparisons between various softmax operators.

연구 동기 및 목표

• 강화학습에서 표준 볼츠만 소프트맥스의 불안정성과 수렴하지 않는 행동을 해결하기 위해.
• 안정적인 학습과 기울기 기반 최적화를 위해 비팽창성과 미분 가능성을 동시에 확보한 소프트맥스 연산자를 설계하기 위해.
• 새로운 연산자에 대한 수렴성과 성능에 대한 이론적 보장을 제공하기 위해.
• 순차적 결정 문제 과제에서 기존 소프트맥스 변형들과의 실험적 비교를 수행하기 위해.

제안 방법

• L-무한노름 하에서 비팽창성을 보장하는 수정된 형태로 볼츠만 분포를 대체하는 새로운 소프트맥스 연산자를 제안하기 위해.
• 온도 조정을 통한 변환을 사용하여 연산자를 수학적으로 정식화하여 단조성과 부드러움을 유지하기 위해.
• 새로운 연산자가 비팽창성임을 증명하여 값 반복과 정책 학습에서 수렴성을 보장하기 위해.
• 연산자가 미분 가능함을 입증하여 종단 간 기울기 기반 정책 최적화를 가능하게 하기 위해.
• 기존의 볼츠만 소프트맥스 및 다른 소프트맥스 변형들과의 비교를 위해 표준 강화학습 벤치마크에서 구현 및 평가하기 위해.
• 이론적 분석과 실험적 비교를 통해 안정성과 성능을 검증하기 위해.

실험 결과

연구 질문

• RQ1 제안된 소프트맥스 연산자가 값 반복 및 정책 반복에서 비팽창성 행동을 보장하는가?
• RQ2 새로운 연산자가 기울기 기반 학습을 지원하기 위해 미분 가능하게 만들 수 있는가?
• RQ3 수렴 속도와 안정성 측면에서 볼츠만 소프트맥스와 비교해 볼 때 새로운 연산자는 어떻게 성능을 내는가?
• RQ4 최적화를 보장하면서도 충분한 탐색을 유지하면서도 유틸리티 최적화를 유지하는가?
• RQ5 표준 강화학습 환경에서의 실험적 성능 향상은 어떠한가?

주요 결과

• 제안된 소프트맥스 연산자는 수학적으로 비팽창성임을 증명하여 값 반복과 정책 학습에서 안정적인 수렴을 보장한다.
• 연산자는 미분 가능성이 있어 정책의 효과적인 기울기 기반 최적화를 가능하게 한다.
• 실험 결과, 테스트된 환경에서 볼츠만 소프트맥스보다 더 빠른 수렴과 향상된 안정성을 보여준다.
• 수렴 보장을 훼손하지 않으면서도 이용과 탐색의 균형을 유지한다.
• 이론적 분석을 통해 연산자가 값 추정치의 차이를 증폭시키지 않아 발산을 방지함을 확인했다.
• 벤치마크 과제에서 학습 안정성과 최종 정책 성능 모두에서 볼츠만 소프트맥스를 능가하는 성능을 보였다.