[논문 리뷰] A Policy Gradient Method for Task-Agnostic Exploration

Mirco Mutti, Lorenzo Pratissoli외 1명|arXiv (Cornell University)|2020. 06. 12.

Reinforcement Learning in Robotics참고 문헌 32인용 수 8

한 줄 요약

이 논문은 제한된 수평선 경로에 의해 유도되는 상태 분포의 엔트로피를 k-최근접 이웃 추정을 사용하여 최대화하는 모델 자유 정책 그래디언트 방법인 MEPOL을 제안한다. 동적 또는 정책 분포를 모델링하지 않고 상태 분포 엔트로피를 최적화함으로써, MEPOL은 고차원 연속 제어 환경에서 효율적인 후행 작업 학습을 가능하게 하는 작업 무관 탐색 정책을 학습한다.

ABSTRACT

In a reward-free environment, what is a suitable intrinsic objective for an agent to pursue so that it can learn an optimal task-agnostic exploration policy? In this paper, we argue that the entropy of the state distribution induced by limited-horizon trajectories is a sensible target. Especially, we present a novel and practical policy-search algorithm, Maximum Entropy POLicy optimization (MEPOL), to learn a policy that maximizes a non-parametric, $k$-nearest neighbors estimate of the state distribution entropy. In contrast to known methods, MEPOL is completely model-free as it requires neither to estimate the state distribution of any policy nor to model transition dynamics. Then, we empirically show that MEPOL allows learning a maximum-entropy exploration policy in high-dimensional, continuous-control domains, and how this policy facilitates learning a variety of meaningful reward-based tasks downstream.

연구 동기 및 목표

• 보상 없이도 작업 무관 탐색을 위한 적절한 내재적 목표를 식별하는 것.
• 환경의 동적 특성이나 보상 함수에 접근할 수 없는 상황에서 탐색 정책을 설계하는 과제를 해결하는 것.
• 전이 동적 특성 또는 정책 분포를 명시적으로 모델링하지 않고 상태 분포 엔트로피를 최대화하는 방법을 개발하는 것.
• 고차원 연속 제어 환경에서 다양하고 탐색적인 정책을 학습함으로써 효과적인 후행 작업 학습을 가능하게 하는 것.

제안 방법

• MEPOL은 제한된 수평선 경로에 의해 유도되는 상태 분포의 엔트로피를 근사하기 위해 비모수적 k-최근접 이웃 추정을 사용한다.
• 이 엔트로피 추정을 바탕으로 정책 그래디언트 목표를 설정하여 직접적으로 탐색 행동을 최적화한다.
• 상태 방문 분포를 추정하거나 전이 동적 특성을 모델링할 필요 없이, 완전히 모델 자유 설정에서 작동한다.
• 정책은 엔트로피 최대화 목표에 표준 정책 그래디언트 기법을 적용하여 업데이트된다.
• 알고리즘은 고차원 연속 제어 영역에서 확장 가능하고 실용적인 설계를 갖추고 있다.

실험 결과

연구 질문

• RQ1 짧은 수평선 경로에 의해 유도되는 상태 분포의 엔트로피를 최대화하는 것이 효과적인 작업 무관 탐색으로 이어질 수 있는가?
• RQ2 전이 동적 특성 또는 정책 분포를 추정하지 않고도 그러한 탐색 정책을 학습할 수 있는가?
• RQ3 결과로 얻어진 정책이 연속 제어 환경에서 다양한 후행 밀도 보상 작업으로 일반화되는 정도는 어떠한가?
• RQ4 기존의 내재적 궁금증 또는 궁금증 기반 탐색 방법에 비해 제안된 방법이 후행 작업의 샘플 효율성 측면에서 뛰어나게 성능을 발휘하는가?

주요 결과

• MEPOL은 동적 특성을 모델링하지 않고도 고차원 연속 제어 환경에서 최대 엔트로피 탐색 정책을 성공적으로 학습한다.
• 이 방법은 후행 작업 학습에서 최신 기술 수준의 성능을 달성하여 여러 작업에서 강력한 샘플 효율성을 보여준다.
• MEPOL이 학습한 정책는 상태 공간을 다양하고 효과적으로 커버하며, 새로운 작업으로의 빠른 적응을 가능하게 한다.
• 실험 결과, MEPOL은 내재적 모델 기반 또는 궁금증 기반 보상에 의존하는 기준 방법들보다 후행 작업 성능 측면에서 뛰어난 성능을 보였다.