[논문 리뷰] Coverage as a Principle for Discovering Transferable Behavior in Reinforcement Learning

Víctor Campos, Pablo Sprechmann외 6명|arXiv (Cornell University)|2021. 05. 04.

Reinforcement Learning in Robotics인용 수 4

한 줄 요약

이 논문은 강화학습에서 전이 가능한 행동을 발견하기 위해 사전 훈련 중에 커버리지 최적화를 사용하는 것을 제안한다. 다양한 상태-행동 영역을 탐색하도록 정책을 훈련시킴으로써, 결과적으로 도메인에 특화된 작업에서 효과적인 이용과 구조화된 탐색을 가능하게 하는 행동을 도출한다. 이는 특히 비정상적인 탐색이 필요한 복잡한 환경에서 샘플 효율성과 수익률을 크게 향상시킨다.

ABSTRACT

Designing agents that acquire knowledge autonomously and use it to solve new tasks efficiently is an important challenge in reinforcement learning. Unsupervised learning provides a useful paradigm for autonomous acquisition of task-agnostic knowledge. In supervised settings, representations discovered through unsupervised pre-training offer important benefits when transferred to downstream tasks. Given the nature of the reinforcement learning problem, we explore how to transfer knowledge through behavior instead of representations. The behavior of pre-trained policies may be used for solving the task at hand (exploitation), as well as for collecting useful data to solve the problem (exploration). We argue that pre-training policies to maximize coverage will result in behavior that is useful for both strategies. When using these policies for both exploitation and exploration, our agents discover solutions that lead to larger returns. The largest gains are generally observed in domains requiring structured exploration, including settings where the behavior of the pre-trained policies is misaligned with the downstream task.

연구 동기 및 목표

• 작업에 특화된 감독 없이 강화학습 작업 간 지식을 전이하는 데 도전하는 것.
• 표현보다 행동이 강화학습에서 전이 가능한 지식 수단이 될 수 있는지 탐구하는 것.
• 상태-행동 공간 커버리지를 최대화하도록 정책을 사전 훈련하는 것이 더 효과적인 후속 작업 행동을 이끌어내는지 조사하는 것.
• 구조화된 탐색이 필요한 환경에서 샘플 효율성과 성능을 향상시키는 것.
• 행동가장화가 후속 작업과 일치하지 않는 경우가 흔한 도메인에서 커버리지 기반 사전 훈련의 효과를 평가하는 것.

제안 방법

• 내재적 궁금증 또는 내재적 수익 기반 목적함수를 사용하여 상태-행동 공간의 커버리지를 최대화하도록 정책을 사전 훈련한다.
• 사전 훈련된 정책을 직접 이용 및 파인튜닝 중 데이터 수집에 모두 활용한다.
• 후속 작업에서 탐색을 위한 사전 지식으로 사전 훈련된 행동을 적용하여 구조적이고 다양한 궤적을 유도한다.
• 내재적 및 외재적 보상의 조합을 사용하여 정책을 훈련하며, 커버리지가 내재 신호의 핵심 요소가 되도록 한다.
• 다양한 탐색 복잡도를 가진 여러 환경에서 전이 성능을 평가한다.
• 사전 훈련된 정책의 행동을 후속 강화학습 알고리즘의 탐색을 유도하는 데 활용하여 데이터 효율성을 향상시킨다.

실험 결과

연구 질문

• RQ1 커버리지 최적화 사전 훈련은 후속 작업에서 이용과 탐색에 모두 유용한 행동을 생성할 수 있는가?
• RQ2 구조화된 탐색이 필요한 환경에서 커버리지 기반 사전 훈련이 샘플 효율성과 최종 수익률을 향상시키는가?
• RQ3 커버리지 최적화 정책에서 유도된 행동과 작업에 특화된 정책에서 유도된 행동은 전이 설정에서 어떻게 비교되는가?
• RQ4 어떤 유형의 환경에서 커버리지 기반 사전 훈련이 가장 유익한가, 특히 행동이 후속 작업과 일치하지 않는 경우에 대해?
• RQ5 커버리지 기반 행동은 후속 강화학습 에이전트의 일반 목적 사전 지식으로 기능할 수 있는가?

주요 결과

• 커버리지 최대화를 위한 사전 훈련은 후속 작업에서 이용과 탐색에 매우 효과적인 행동을 이끌어낸다.
• 가장 큰 성능 향상은 표준 행동이 작업과 일치하지 않을 수 있는, 구조화된 탐색이 필요한 환경에서 관찰된다.
• 커버리지 최적화 사전 훈련된 정책을 사용하는 에이전트는 특히 보상이 희박한 환경에서 기준 방법보다 더 높은 수익률을 달성한다.
• 이 방법은 데이터 효율성을 향상시켜 높은 성능에 도달하기 위해 필요한 환경 상호작용 수를 감소시킨다.
• 행동 전이가 특징 전이보다 더 관련성이 높은 상황에서, 커버리지 기반 사전 훈련은 표현 기반 전이 방법보다 성능이 뛰어나다.
• 이 방법은 연속 제어 및 복잡한 동역학을 가진 탐색 작업을 포함한 다양한 환경에서 뛰어난 강건성을 보인다.