[논문 리뷰] Explore, Discover and Learn: Unsupervised Discovery of State-Covering Skills

Víctor Campos, Alexander T. Trott외 4명|arXiv (Cornell University)|2020. 02. 10.

Auction Theory and Applications인용 수 22

한 줄 요약

이 논문은 상태공간 커버리지 향상을 위해 정책에 의해 유도되는 분포에서 기술적 기술 탐색을 분리함으로써 새로운 비지도 스킬 탐색 방법인 Explore, Discover and Learn(EDL)을 제안한다. EDL는 이전 연구와 동일한 정보이론적 목적함수를 최적화하지만, 고정된 상태 사전확률과 변분 추론을 사용하여 조기 수렴을 방지함으로써 연속 제어 환경에서 훨씬 더 나은 커버리지와 강건성을 달성하며, 하이퍼파라미터 민감도도 최소화한다.

ABSTRACT

Acquiring abilities in the absence of a task-oriented reward function is at the frontier of reinforcement learning research. This problem has been studied through the lens of empowerment, which draws a connection between option discovery and information theory. Information-theoretic skill discovery methods have garnered much interest from the community, but little research has been conducted in understanding their limitations. Through theoretical analysis and empirical evidence, we show that existing algorithms suffer from a common limitation -- they discover options that provide a poor coverage of the state space. In light of this, we propose 'Explore, Discover and Learn' (EDL), an alternative approach to information-theoretic skill discovery. Crucially, EDL optimizes the same information-theoretic objective derived from the empowerment literature, but addresses the optimization problem using different machinery. We perform an extensive evaluation of skill discovery methods on controlled environments and show that EDL offers significant advantages, such as overcoming the coverage problem, reducing the dependence of learned skills on the initial state, and allowing the user to define a prior over which behaviors should be learned. Code is publicly available at https://github.com/victorcampos7/edl.

연구 동기 및 목표

• 기존 정보이론적 스킬 탐색 방법의 핵심적 한계인 정책에 의해 유도되는 분포 편향으로 인한 상태공간 커버리지 부족 문제를 해결하기 위해.
• 작업에 특화된 보상이나 초기 정책 편향에 의존하지 않고 다양한 상태공간 커버리지 스킬을 탐색할 수 있는 방법을 개발하기 위해.
• 유용한 행동에 대한 사용자 정의 사전확률을 가능하게 하고 초기 상태 분포에 대한 의존도를 줄이기 위해.
• 이전 연구와 동일한 에너지 기반 정보이론적 목적함수를 유지하면서도 학습 동역학을 향상시키기 위해.
• 개선된 커버리지가 더 효과적인 후속 작업 학습 및 메타제어에 기여함을 입증하기 위해.

제안 방법

• EDL는 세 단계 파라다임을 사용한다: 무작위 정책으로 환경 탐색, 고정된 상태 사전확률을 사용한 변분 추론 프레임워크를 통한 스킬 탐색, 잠재 코드와 상태 간 상호정보량을 최대화하는 옵션 학습.
• 잠재 변수 z와 상태 s 간의 상호정보량에 대한 변분 하한을 사용하며, p(s|z)는 정규분포로 모델링하고 p(z)는 사용자가 정의한 사전확률로 설정한다.
• p(z)를 고정하고 별도의 탐색 단계를 통해, 정책이 이미 탐색된 상태를 강화하는 병적인 학습 동역학을 방지한다.
• 스킬 탐색 단계는 각 z가 상태공간의 별개 영역을 커버하는 스킬에 해당하는 잠재공간을 학습하는 VAE 유사 아키텍처를 사용한다.
• EDL의 학습 목표는 권능 기반 목적함수와 동일하지만, 상태에 대한 고정된 사전확률을 사용함으로써 정책이 유도하는 상태 분포에 의존하지 않도록 한다.
• 상태 마진 매칭, 벡터 양자화, 뒤집힌 재라벨링과 같은 현대 기법과의 통합을 지원하여 확장성 향상.

실험 결과

연구 질문

• RQ1 기존 정보이론적 스킬 탐색 방법은 정책에 의해 유도되는 분포 편향으로 인해 상태공간 커버리지가 열악한가?
• RQ2 상태에 대한 고정된 사전확률이 커버리지 향상과 초기 정책 행동에 대한 의존도 감소에 기여하는가?
• RQ3 스킬 탐색을 정책 역학에서 분리하면 더 다양한 강건한 스킬 세트를 얻을 수 있는가?
• RQ4 EDL는 동일한 정보이론적 목적함수를 유지하면서도 더 나은 최적화 안정성과 커버리지 달성할 수 있는가?
• RQ5 행동에 대한 사용자 정의 사전확률이 스킬 다양성과 후속 작업 성능에 어떤 영향을 미치는가?

주요 결과

• EDL는 이전 방법이 봉쇄 상태가 있는 미로 환경에서 초기로 접근 가능한 상태를 초과해 탐색하지 못하는 데 비해, 상태공간 커버리지가 훨씬 뛰어나다는 것이 입증되었다.
• 초기 상태 분포에 대한 민감도가 감소하여, 다양한 시작 위치에서 일관된 스킬 탐색을 보였다.
• 사용자가 원하는 행동에 대한 사전확률을 정의할 수 있어 특정 유형의 스킬을 타겟으로 탐색할 수 있다.
• 통제된 환경에서 EDL는 의미 있는 분리된 잠재공간의 스킬을 탐색하여 복합 행동을 조합으로 생성할 수 있었다.
• 실험 결과로 EDL의 학습 동역학은 이전 방법이 이미 탐색된 상태를 강화하면서 탐색을 포기하는 병적인 경향을 피하는 것으로 나타났다.
• 동일한 정보이론적 목적함수를 사용함에도 불구하고, EDL는 커버리지와 강건성 면에서 이전 접근법을 능가했다.