[논문 리뷰] Ensuring Monotonic Policy Improvement in Entropy-regularized Value-based Reinforcement Learning

Lingwei Zhu, Takamitsu Matsubara|arXiv (Cornell University)|2020. 08. 25.

Reinforcement Learning in Robotics참고 문헌 22인용 수 4

한 줄 요약

이 논문은 유한한 시간 간격 MDP에서 엔트로피 정규화된 가치 기반 강화학습 알고리즘을 제안하며, 정책 개선의 일관성 있는 증가를 보장하기 위해 확장 가능한 엔트로피 인식 하한을 유도함으로써 단조적인 정책 개선을 보장한다. 예상 이점 함수를 사용하여 조정 가능한 보간 계수 ζ를 통해 업데이트 크기를 동적으로 조절함으로써, 이 방법은 정책 진동을 억제하고 이산 및 연속 제어 과제에서 안정적이고 매끄러운 학습을 달성한다.

ABSTRACT

This paper aims to establish an entropy-regularized value-based reinforcement learning method that can ensure the monotonic improvement of policies at each policy update. Unlike previously proposed lower-bounds on policy improvement in general infinite-horizon MDPs, we derive an entropy-regularization aware lower bound. Since our bound only requires the expected policy advantage function to be estimated, it is scalable to large-scale (continuous) state-space problems. We propose a novel reinforcement learning algorithm that exploits this lower-bound as a criterion for adjusting the degree of a policy update for alleviating policy oscillation. We demonstrate the effectiveness of our approach in both discrete-state maze and continuous-state inverted pendulum tasks using a linear function approximator for value estimation.

연구 동기 및 목표

• 근사 가치 기반 강화학습에서 정책 진동이라는 핵심 문제를 해결함으로써 실세계 응용에서의 신뢰성을 높이기 위해.
• 대규모 또는 연속 상태 공간에서 비가역적인 이전의 정책 개선 하한의 한계를 극복하기 위해.
• 특정 알고리즘 클래스에 초점을 맞춰 엔트로피 정규화된 가치 기반 강화학습에서 단조적인 정책 개선을 보장하는 실용적이고 확장 가능한 방법을 개발하기 위해.
• 새로운 타당한 하한을 기반으로 조정 가능한 보간 계수를 사용해 정책 업데이트의 공격성을 동적으로 조절하는 알고리즘을 설계하기 위해.
• 선형 함수 근사 기반으로 이산 상태 미로와 연속 상태 역퍼레드럼 과제에서 이 방법의 효과성을 입증하기 위해.

제안 방법

• 무한 시간 간격 MDP에서 엔트로피 정규화를 명시적으로 고려하는 정책 개선에 대한 새로운 하한을 유도하여 보다 날카우며 실용적인 보장을 가능하게 한다.
• 하한의 유일한 입력으로 예상 정책 이점 함수를 사용함으로써 계산 효율성이 높고 대규모 또는 연속 상태 공간으로의 확장이 가능하다.
• 정책 업데이트 정도를 제어하는 동적 보간 계수 ζ ∈ [0,1]를 도입하며, 초기에는 보수적으로 설정하고 이점 함수가 유의미한 향상을 보일 경우에만 점차 증가시킨다.
• 현재 정책와 탐욕 정책의 볼록 조합으로 정책 업데이트를 구성하며, ζ는 하한에 기반하여 조정되어 단조적인 개선을 보장한다.
• Q함수에 대해 선형 함수 근사를 사용하고, 학습 안정화를 위해 Tikhonov 정규화를 적용한 최소 제곱 벨먼 업데이트를 해결함으로써 알고리즘을 구현한다.
• 이중 이산 및 연속 제어 환경에 이 방법을 적용하며, 효율적인 함수 추정을 위해 경험적 벨먼 연산자와 무작위 특징 근사를 사용한다.

실험 결과

연구 질문

• RQ1 엔트로피 정규화된 가치 기반 강화학습에 대해 연속 상태 공간으로도 확장 가능한 타당한 정책 개선 하한을 도출할 수 있는가?
• RQ2 하한 인식 보간 계수 ζ를 사용해 정책 업데이트 크기를 동적으로 조절하면 실제로 단조적인 정책 개선이 이루어지는가?
• RQ3 기존의 보수적 정책 반복 및 SPI-CVI 방법과 비교해 본다면, 제안된 방법은 진동 억제 및 학습 안정성 측면에서 어떻게 성능을 내는가?
• RQ4 제한된 샘플링과 근사 가치 함수 추정이 존재하는 상황에서도 이 방법은 여전히 단조적인 개선을 유지할 수 있는가?
• RQ5 선형 함수 근사를 사용할 때 이 방법은 이산 및 고차원 연속 제어 과제 모두에서 효과적인가?

주요 결과

• 제안된 MI-CVI 알고리즘은 CVI 및 정확한, 근사된 두 형태의 SPI-CVI보다 정책 진동이 현저히 감소했으며, 유의미도 수준 p=0.05에서 통계적으로 유의미하다.
• MI-CVI는 ζ가 0에서 1로 점차 증가함에 따라 매끄럽고 단조적인 학습 진전을 보이며, 시간이 지남에 따라 안정적이고 일관된 정책 개선을 나타낸다.
• 역퍼레드럼 과제에서, 동일한 함수 근사 및 샘플링 설정을 사용함에도 불구하고 MI-CVI는 E-SPI-CVI 및 CVI보다 평균 진동 값이 낮았다.
• 정확한 SPI-CVI의 경우 δ 및 ΔA의 과소 추정으로 인해 큰 ζ 값으로 인해 극심한 진동을 보였고, 근사된 형태는 near-zero ζ로 너무 보수적이었다.
• MI-CVI의 장점은 안정적인 엔트로피 인식 하한에 기반해 ζ를 조정함으로써 보수성과 공격성 사이의 균형을 유지할 수 있다는 데 있다.
• 이 방법은 1회 반복당 200단계, 총 30회의 반복만으로도 단조적인 개선을 유지하며, 샘플링 및 근사 오차에 대한 강건성을 입증했다.