[논문 리뷰] Path Consistency Learning in Tsallis Entropy Regularized MDPs

Ofir Nachum, Yinlam Chow외 1명|arXiv (Cornell University)|2018. 02. 10.

Reinforcement Learning in Robotics참고 문헌 26인용 수 9

한 줄 요약

이 논문은 히스터리스 엔트로피 정규화된 마르코프 결정 과정을 위한 새로운 액터-크리틱 알고리즘인 희소 경로 일致성 학습 (sparse PCL)을 제안한다. 이 알고리즘은 몇몇 행동에만 비-zero 확률을 할당하는 희소 정책을 유도한다. 다단계 희소 일치 방정식을 유도하고 온-폴리시 및 오프-폴리시 데이터를 모두 활용함으로써, 큰 행동 공간에서 소프트 PCL에 비해 뛰어난 성능을 달성한다. 이는 거의 결정론적인 정책으로의 더 빠른 수렴과 상당히 향상된 최종 수익을 보여준다.

ABSTRACT

We study the sparse entropy-regularized reinforcement learning (ERL) problem in which the entropy term is a special form of the Tsallis entropy. The optimal policy of this formulation is sparse, i.e.,~at each state, it has non-zero probability for only a small number of actions. This addresses the main drawback of the standard Shannon entropy-regularized RL (soft ERL) formulation, in which the optimal policy is softmax, and thus, may assign a non-negligible probability mass to non-optimal actions. This problem is aggravated as the number of actions is increased. In this paper, we follow the work of Nachum et al. (2017) in the soft ERL setting, and propose a class of novel path consistency learning (PCL) algorithms, called {\em sparse PCL}, for the sparse ERL problem that can work with both on-policy and off-policy data. We first derive a {\em sparse consistency} equation that specifies a relationship between the optimal value function and policy of the sparse ERL along any system trajectory. Crucially, a weak form of the converse is also true, and we quantify the sub-optimality of a policy which satisfies sparse consistency, and show that as we increase the number of actions, this sub-optimality is better than that of the soft ERL optimal policy. We then use this result to derive the sparse PCL algorithms. We empirically compare sparse PCL with its soft counterpart, and show its advantage, especially in problems with a large number of actions.

연구 동기 및 목표

• 큰 행동 공간에서 최적 정책가 비최적 행동에 비중간 확률을 할당하는 표준 샤논 엔트로피 정규화된 강화학습의 한계를 해결한다.
• 샤논 엔트로피 대신 히스터리스 엔트로피 정규화를 사용하여 최적 정책의 희소성을 유도하는 체계적인 방법을 개발한다.
• 원래 샤논 엔트로피를 위한 목적을 가진 경로 일치 학습(PCL) 프레임워크를 소프트(샤논) 엔트로피에서 희소(히스터리스) 엔트로피 설정으로 확장한다.
• 희소 설정에서 온-폴리시 및 오프-폴리시 데이터를 모두 활용하여 샘플 효율성과 안정성을 유지한다.
• 희소 PCL가 소프트 PCL보다 최종 수익과 수렴 속도 면에서 뛰어나다는 것을 경험적으로 입증한다. 특히 고차원 행동 공간에서 그러하다.

제안 방법

• 히스터리스 엔트로피 정규화된 MDPs에서 최적 가치 함수와 정책 간의 관계를 기술하는 다단계 희소 일치 방정식을 유도한다.
• 최적성은 희소 일치를 암시하지만, 그 역은 부분 최적성만 암시하며, 행동 공간 크기가 커질수록 부분 최적성 갭이 개선됨을 증명한다.
• 희소 일치 방정식에 기반한 손실 함수를 최소화하는 희소 PCL 알고리즘을 설계하여 가치 및 정책 네트워크의 공동 학습을 가능하게 한다.
• 현재 정책의 부분 트레이젝터리와 리PLAY 버퍼를 사용하여 온-폴리시 및 오프-폴리시 데이터를 모두 지원함으로써 샘플 효율성을 향상시킨다.
• 고차원 상태 및 행동 공간으로의 확장을 위해 신경망을 사용한 함수 근사 구현을 수행한다.
• 온도 매개변수를 사용해 희소성을 제어함으로써 정책 분포에서 탐색과 이용 간의 트레이드오프를 가능하게 한다.

실험 결과

연구 질문

• RQ1 PCL와 같은 일치 기반 프레임워크를 히스터리스 엔트로피 정규화된 MDPs로 확장하여 희소 정책을 유도할 수 있는가?
• RQ2 행동 수가 증가함에 따라, 희소 일치 조건을 만족하는 정책의 부분 최적성은 최적 정책에 비해 어떻게 다른가?
• RQ3 큰 행동 공간을 가진 환경에서 희소 PCL는 소프트 PCL보다 더 높은 최종 성능과 더 빠른 수렴 속도를 달성하는가?
• RQ4 고차원 연속 제어 작업에서 거친 이산화 후 희소 PCL는 거의 결정론적인 정책을 효과적으로 학습할 수 있는가?
• RQ5 희소 PCL의 우월성이 알고리즘 작업과 연속 제어 벤치마크를 포함한 다양한 유형의 작업에서 견고한가?

주요 결과

• 행동 공간 크기가 증가하는 알고리즘 작업에서, 희소 PCL는 소프트 PCL를 능가하며, |A|가 100을 초월할수록 성능 격차가 커진다.
• |A| = 3^6 = 729 및 |A| = 5^6 = 15,625일 때, 이산화된 행동을 가진 HalfCheetah 환경에서 희소 PCL는 소프트 PCL보다 상당히 높은 평균 수익을 달성한다.
• 희소 PCL는 소프트 PCL보다 훨씬 빨리 거의 결정론적인 정책으로 수렴하며, 평균적으로 가장 가능성 높은 행동의 확률이 100만 단계 이내에 0.95를 초과한다.
• 소프트 PCL는 최적 행동에 확률 질량을 집중시키지 못하며, 100만 단계가 지난 후에도 가장 가능성 높은 행동의 평균 확률이 0.75 이하로 머문다.
• 희소 일치 조건을 만족하는 정책의 이론적 부분 최적성 경계는 행동 공간 크기가 커질수록 개선되며, 이는 큰 행동 공간에서 소프트 PCL의 최적 정책보다 유리하다.
• 경험 결과는 소프트 PCL가 장수명 과제에서 비최적 행동을 과도하게 탐색하는 경향이 성능을 해칠 수 있음을 확인하며, 희소 PCL는 이 문제를 효과적으로 완화함을 보여준다.