[논문 리뷰] Reinforcement Learning with Dynamic Boltzmann Softmax Updates

Ling Pan, Qingpeng Cai외 4명|arXiv (Cornell University)|2019. 03. 14.

Reinforcement Learning in Robotics참고 문헌 20인용 수 4

한 줄 요약

이 논문은 값 함수 추정에서 수렴 문제를 해결하기 위해 역온도 파라미터 β를 시간에 따라 변하는 값으로 만들고 상태에 독립적으로 유지함으로써 동적 볼츠만 소프트맥스(DBS) 연산자를 제안한다. DBS는 값 반복과 Q-학습에서 수렴을 보장하며, DBS-DQN은 49개의 Atari 게임 중 40개에서 DQN을 능가하여 안정성과 성능 향상을 입증한다.

ABSTRACT

Value function estimation is an important task in reinforcement learning, i.e., prediction. The Boltzmann softmax operator is a natural value estimator and can provide several benefits. However, it does not satisfy the non-expansion property, and its direct use may fail to converge even in value iteration. In this paper, we propose to update the value function with dynamic Boltzmann softmax (DBS) operator, which has good convergence property in the setting of planning and learning. Experimental results on GridWorld show that the DBS operator enables better estimation of the value function, which rectifies the convergence issue of the softmax operator. Finally, we propose the DBS-DQN algorithm by applying dynamic Boltzmann softmax updates in deep Q-network, which outperforms DQN substantially in 40 out of 49 Atari games.

연구 동기 및 목표

• 고정된 β를 사용하는 표준 볼츠만 소프트맥스가 비수축 성질을 만족하지 못해 수렴하지 못하는 문제를 해결하기 위해.
• 수렴을 보장하면서도 탐색과 이용의 균형을 유지하는 값 함수 업데이트 메커니즘을 개발하기 위해.
• 특히 딥 Q-네트워크에 적용 가능한 표본화 및 딥 강화학습 환경 모두에 적용 가능한 방법을 설계하기 위해.
• 과대추정과 기울기 노이즈를 줄임으로써 DQN과 소프트 Q-학습보다 더 높은 성능을 달성하기 위해.
• 초기화 조정이 필요 없고 더블 Q-학습과의 호환성을 보장하기 위해

제안 방법

• 시간에 따라 변하는 β 파라미터를 가진 동적 볼츠만 소프트맥스(DBS) 연산자를 제안하여 수렴을 보장한다.
• βt → ∞가 값 반복에서 수렴을 확보하는 데 충분함을 증명함으로써 고정된 β 소프트맥스의 수렴 실패 문제를 해결한다.
• 기존 연구 대비 고정 파라미터 소프트맥스 연산자에 대해 더 날카운 오차 한계를 확립한다.
• DBS를 Q-학습에 확장하여 DBS Q-학습 알고리즘의 수렴성을 증명한다.
• 고차원 상태 공간에서의 함수 근사 기법을 사용하여 DBS를 딥 Q-네트워크에 통합한다.
• Bellman 최적성과 과대추정 감소를 유지하면서 직접적으로 정책을 표현할 수 있도록 DBS 연산자를 적용한다.

실험 결과

연구 질문

• RQ1 시간에 따라 변하는 볼츠만 소프트맥스 연산자가 고정된 β 소프트맥스가 실패하는 상황에서 값 함수 추정의 수렴을 보장할 수 있는가?
• RQ2 DBS 연산자는 그리드월드와 같은 표본화 환경에서 값 함수 추정의 정확성과 안정성을 향상시키는가?
• RQ3 DBS-DQN은 다양한 Atari 2600 게임에서 DQN보다 뛰어난 성능을 보일 수 있는가?
• RQ4 DBS 연산자는 과대추정 감소 및 더블 Q-학습과의 호환성과 같은 바람직한 성질을 유지하는가?
• RQ5 DBS 방법은 초깃값 조정 없이도 강건하고 효과적인가?

주요 결과

• β = t²로 설정한 DBS Q-학습은 그리드월드에서 Q-학습과 소프트 Q-학습을 모두 능가하는 최상의 성능을 기록했다.
• 시간에 따라 변하는 β를 통해 비수축 성질을 만족함으로써 DBS 연산자는 값 반복과 Q-학습에서 수렴을 보장한다.
• DBS-DQN은 49개의 Atari 게임 중 40개에서 DQN을 능가했으며, 아틀라스, 로드 러너, 비디오 핀볼과 같은 게임에서 뚜렷한 성능 향상을 보였다.
• Atari 벤치마크에서 DBS-DQN은 DQN 대비 아틀라스에서 상대적 인간 정규화 점수 개선 폭이 최대 3,768,100.0에 이르렀다.
• 기존 연구 대비 고정 파라미터 소프트맥스에 대해 더 날카운 오차 한계를 확보함으로써 이론적 보장을 향상시켰다.
• 기타 소프트맥스 기반 방법들과 달리 DBS-DQN은 추가적인 초깃값 조정 없이도 뛰어난 성능을 유지했다.