[논문 리뷰] Marginalized State Distribution Entropy Regularization in Policy Optimization

Riashat Islam, Zafarali Ahmed외 1명|arXiv (Cornell University)|2019. 12. 11.

Reinforcement Learning in Robotics참고 문헌 26인용 수 7

한 줄 요약

이 논문은 강화학습에서 상태공간 커버리지 향상을 위해 변동 상태 분포 엔트로피 정규화를 제안한다. 이는 잠재 상태 표현에 대한 변동 하한을 사용해 시간에 따른 상태의 주변 분포를 근사한다. 이 방법은 3D 미로와 격자망원과 같은 희박 보상 환경에서 표준 정책 엔트로피 정규화를 능가하는 탐색 성능을 보이며, 환경 모델이 필요 없이 더 넓은 상태 방문을 유도한다.

ABSTRACT

Entropy regularization is used to get improved optimization performance in reinforcement learning tasks. A common form of regularization is to maximize policy entropy to avoid premature convergence and lead to more stochastic policies for exploration through action space. However, this does not ensure exploration in the state space. In this work, we instead consider the distribution of discounted weighting of states, and propose to maximize the entropy of a lower bound approximation to the weighting of a state, based on latent space state representation. We propose entropy regularization based on the marginal state distribution, to encourage the policy to have a more uniform distribution over the state space for exploration. Our approach based on marginal state distribution achieves superior state space coverage on complex gridworld domains, that translate into empirical gains in sparse reward 3D maze navigation and continuous control domains compared to entropy regularization with stochastic policies.

연구 동기 및 목표

• 정책 엔트로피 정규화의 한계를 해결하기 위해, 이는 행동공간의 확률적 성향을 증진하지만 상태공간 커버리지는 보장하지는 않는다.
• 희박 보상 환경에서 상태공간 전반에 걸쳐 균일한 탐색을 유도하기 위한 모델-프리이고 계산 가능한 방법을 개발하기 위해.
• 주변 상태 분포의 엔트로피를 최대화하는 것이 표준 정책 엔트로피 정규화보다 더 나은 상태공간 커버리지를 이끌어내는지 입증하기 위해.
• 내재된 상호작용이나 보너스 기반 방법과 달리, 상태 방문 패턴에 직접적인 영향을 주는 기울기 기반 정규화를 제공하기 위해.
• 복잡한 도메인, 예를 들어 희박 보상 3D 미로와 연속 제어 작업에서 접근법을 검증하기 위해.

제안 방법

• 상태공간의 균일한 방문을 유도하기 위해 주변 상태 분포의 엔트로피 $\mathbb{H}(d_{t,\pi}(s))$를 최대화하는 것을 제안한다. 이는 $P_\pi(s_t = s)$로 정의된다.
• 잠재 공간 표현 $z$를 통해 상태 $s$의 할당된 할당 가중치 $d_{z,t,\pi}(s)$를 추정함으로써 할당된 상태 가중치에 대한 변동 하한을 사용한다.
• 진정한 주변 상태 분포 엔트로피를 근사하기 위해 계산 가능한 근사값 $\mathbb{H}(d_{z,t,\pi}(s))$를 도입하여 정책 기울기와 함께 엔드 투 엔드 학습이 가능하게 한다.
• 정책 최적화 목표에 엔트로피 정규화를 페널티 항으로 적용하며, 학습 가능한 가중 계수 $\lambda_\pi$를 사용한다.
• 잠재 표현 분포를 추정하기 위해 변동 추론 프레임워크를 활용하여 엔트로피 목표의 미분 가능 최적화를 가능하게 한다.
• 환경 동역학 또는 밀도 모델이 필요 없이 표준 정책 기울기 알고리즘(예: SAC)에 정규화를 통합한다.

실험 결과

연구 질문

• RQ1 주변 상태 분포 엔트로피를 최대화하는 것이 강화학습에서 상태공간 커버리지 향상에 기여하는가?
• RQ2 주변 상태 분포 엔트로피 정규화가 희박 보상 환경에서 표준 정책 엔트로피 정규화를 능가하는가?
• RQ3 이 방법은 전이 동역학이나 밀도 추정기 접근이 없이도 모델-프리이고 미분 가능한 방식으로 구현 가능한가?
• RQ4 제안된 정규화는 3D 미로 탐색과 같은 복잡하고 희박 보상의 과제에서 학습 효율성과 최종 성능에 어떤 영향을 미치는가?
• RQ5 최적 정책 학습과 잠재적인 상충관계가 있음에도 불구하고, 이 방법은 밀도 보상 연속 제어 도메인으로 일반화 가능한가?

주요 결과

• 제안된 주변 상태 분포 엔트로피 정규화는 표준 정책 엔트로피 정규화에 비해 격자망원과 3D 미로 환경에서 상태공간 커버리지가 크게 향상됨을 확인하였다.
• 희박 보상 3D 미로 탐색 과제에서, 이 방법은 더 높은 샘플 효율성과 더 빠른 수렴을 달성하였으며, 어려운 탐색 벤치마크에서 성공률이 향상되었다.
• 내재된 상호작용이나 MaxEntState에 비해 상태 방문 다양성과 희박 보상 미로에서의 최종 성능 측면에서 모두 뛰어난 성능을 보였다.
• 밀도 보상 연속 제어 과제에서도 이 방법은 소량이지만 측정 가능한 향상을 제공하였으며, 이는 광범위한 적용 가능성을 시사한다.
• 시각화 결과는 주변 상태 엔트로피 정규화를 사용해 훈련된 정책이 특히 초기 훈련 단계에서 더 넓은 범위의 상태를 탐색한다는 것을 확인하였다.
• 환경 모델, 밀도 추정, 보상 형상화 없이도 이 방법이 효과적이므로 실세계 강화학습 응용에 실용적이다.