[논문 리뷰] Efficient Exploration via State Marginal Matching

Lisa Lee, Benjamin Eysenbach외 4명|arXiv (Cornell University)|2019. 06. 12.

Reinforcement Learning in Robotics참고 문헌 66인용 수 95

한 줄 요약

본 논문은 강화학습에서의 탐색을 State Marginal Matching(SMM)으로 재정의한다. 이는 정책의 상태 방문이 목표 상태 분포와 일치하도록 하는 분포 매칭 목적이다. 밀도 모델과 정책 간의 2인자/제로섬 게임을 도입하고, 최적화를 위해 fictitious play를 사용하며, 더 빠르고 넓은 탐색 및 새로운 작업에 대한 더 나은 적응성을 보여주고, 혼합 정책 확장(SM4)을 포함한다.

ABSTRACT

Exploration is critical to a reinforcement learning agent's performance in its given environment. Prior exploration methods are often based on using heuristic auxiliary predictions to guide policy behavior, lacking a mathematically-grounded objective with clear properties. In contrast, we recast exploration as a problem of State Marginal Matching (SMM), where we aim to learn a policy for which the state marginal distribution matches a given target state distribution. The target distribution is a uniform distribution in most cases, but can incorporate prior knowledge if available. In effect, SMM amortizes the cost of learning to explore in a given environment. The SMM objective can be viewed as a two-player, zero-sum game between a state density model and a parametric policy, an idea that we use to build an algorithm for optimizing the SMM objective. Using this formalism, we further demonstrate that prior work approximately maximizes the SMM objective, offering an explanation for the success of these methods. On both simulated and real-world tasks, we demonstrate that agents that directly optimize the SMM objective explore faster and adapt more quickly to new tasks as compared to prior exploration methods.

연구 동기 및 목표

• State Marginal Matching(SMM)를 탐색을 위한 원리적 목표로 정의하고, 작업에 독립적인 탐색 정책을 도출하는 방법을 보인다.
• 상태 밀도 모델과 정책 간의 2인자, 제로섬 게임을 통한 실용적 최적화 프레임워크를 fictitious play를 이용해 제시한다.
• 다중 모드 타깃 분포를 다루고 탐색 속도를 높이기 위해 SMM을 정책 혼합의 형태로 확장한다.
• SMM을 기존 탐색 방법과 연결하고, 이들의 거짓 MMM 동작과 과거 평균의 중요성을 설명한다

제안 방법

• 정책이 방문하는 상태의 주변 분포 rho_pi(s)와 목표 분포 p*(s)를 정의한다.
• SMM 목표를 KL(rho_pi(s) || p*(s)) 최소화로 형식화하고, 등가적으로 r(s)=log p*(s) - log rho_pi(s)와 상태 엔트로피 항을 더한 준보상 형태의 기대값 E[r(s)]를 최대화한다.
• 역사적 정책 상태에 대해 q(s)라는 밀도 모델에 맞추는 과정을 반복하고, 준보상 r(s)를 최대화하도록 정책을 업데이트하는 가상의 플레이를 이용한 실용 알고리즘을 개발한다.
• 수렴을 보장하고 진동을 방지하기 위해 정책과 밀도에 대한 역사적 평균화 메커니즘을 도입한다.
• 잠재 요소에 대한 판별기와 혼합-상태 주변 분포를 갖춘 정책 혼합(SM4)으로 다중 모드 타깃 분포에 대한 매칭을 확장한다

실험 결과

연구 질문

• RQ1 상태 주변 분포에 대한 분포 매칭 문제로 탐색을 재정의할 수 있는가?
• RQ2 SMM을 통해 상태 엔트로피를 최대화하면 작업 간 일반화가 가능한 단일의 강건한 탐색 정책이 도출되는가?
• RQ3 다중 모드 타깃 상태 분포에 대해 정책의 혼합이 탐색 성능을 향상시키는가?
• RQ4 SMM은 기존 예측오차 기반 탐색 방법과 어떻게 연결되며 이를 어떻게 통합하는가?
• RQ5 제안된 fictitious-play 최적화가 수렴하고 복잡한 작업에서 기존 탐색 전략들보다 우수한가?

주요 결과

• SMM은 시뮬레이션 및 실제 작업에서 이전의 탐색 방법들보다 더 빠른 탐색과 더 나은 적응성을 보인다.
• 예측오차 기반 방법은 시간에 따라 SMM 목표를 대략적으로 최적화하지만, 역사적 평균화가 없으면 진동하는 동역학을 보일 수 있다.
• 수렴과 효과적 탐색을 위한 역사적 평균화(가상의 플레이) 메커니즘이 결정적이다.
• 정책 혼합(SM4)은 테스트 시 탐색 속도를 더욱 가속화하고 하류 작업 성능을 개선한다.
• Fetch 및 D’Claw 실험에서 SMM은 기저대비 더 넓은 상태 커버리지와 더 다양한 물체 각도 및 노브 회전을 탐색한다.
• SMM은 작업에 구애받지 않는 탐색 선행 지식을 제공하여 기저대비 하류 작업을 더 빠르게 해결하도록 돕는다