[논문 리뷰] Explore then Execute: Adapting without Rewards via Factorized Meta-Reinforcement Learning

Evan Zheran Liu, Aditi Raghunathan외 2명|arXiv (Cornell University)|2020. 06. 12.

Reinforcement Learning in Robotics참고 문헌 21인용 수 6

한 줄 요약

이 논문은 태스크별 보상 신호에 의존하지 않고 핵심 환경 정보를 별도로 식별함으로써 탐색을 태스크 실행에서 분리하는 인자화된 메타강화학습 방법 DREAM을 제안한다. 탐색과 태스크 해결 간의 '닭과 계란' 문제를 해결함으로써, 보상 신호가 없는 새로운 환경에서도 효과적인 적응을 가능하게 하여, 이전 방법이 실패하는 희박한 보상 환경에서의 3차원 시각적 탐색 작업에서 성공을 거두었다.

ABSTRACT

We seek to efficiently learn by leveraging shared structure between different tasks and environments. For example, cooking is similar in different kitchens, even though the ingredients may change location. In principle, meta-reinforcement learning approaches can exploit this shared structure, but in practice, they fail to adapt to new environments when adaptation requires targeted exploration (e.g., exploring the cabinets to find ingredients in a new kitchen). We show that existing approaches fail due to a chicken-and-egg problem: learning what to explore requires knowing what information is critical for solving the task, but learning to solve the task requires already gathering this information via exploration. For example, exploring to find the ingredients only helps a robot prepare a meal if it already knows how to cook, but the robot can only learn to cook if it already knows where the ingredients are. To address this, we propose a new exploration objective (DREAM), based on identifying key information in the environment, independent of how this information will exactly be used solve the task. By decoupling exploration from task execution, DREAM explores and consequently adapts to new environments, requiring no reward signal when the task is specified via an instruction. Empirically, DREAM scales to more complex problems, such as sparse-reward 3D visual navigation, while existing approaches fail from insufficient exploration.

연구 동기 및 목표

• 탐색이 필요하지만 보상 신호가 제공되지 않는 새로운 환경에 적응하는 데 도전하는 것.
• 메타강화학습에서 탐색이 태스크 지식에 의존하고 태스크 해결이 탐색에 의존하는 '닭과 계란' 문제를 극복하는 것.
• 예를 들어 새로운 주방에서 재료를 찾거나 3차원 시각적 환경을 탐색하는 데 필요한 목표 탐색이 요구되는 환경에서 효과적인 적응을 가능하게 하는 것.
• 태스크별 보상 설계에 의존하지 않고도 핵심 환경 정보를 식별하는 방법을 개발하는 것.
• 기존 방법이 탐색 부족으로 실패하는 복잡하고 희박한 보상 환경에 메타강화학습을 확장하는 것.

제안 방법

• DREAM은 태스크별 보상에 의존하지 않고 핵심 환경 정보를 식별하는 새로운 탐색 목표를 도입한다.
• 메타강화학습을 두 단계로 인자화한다: 환경의 핵심 상태를 탐색하는 '탐색' 단계와, 이를 바탕으로 태스크를 수행하는 '실행' 단계.
• 탐색 목표는 태스크 보상이 아닌 환경의 구조에서 유도된 자기지도 신호를 사용하여 훈련된다.
• 환경의 잠재 표현을 사용하여 향후 태스크에 유용할 가능성이 있는 정보를 식별한다. 이는 태스크 자체와는 무관하다.
• DREAM은 태스크 성능과는 독립적으로 환경에 대한 정보 수득을 최대화하는 방향으로 탐색을 유도하는 메타정책을 훈련한다.
• 이 프레임워크는 자연어 지시어로 지정된 새로운 태스크에 대해 보상 신호 없이도 제로샷 적응을 가능하게 한다.

실험 결과

연구 질문

• RQ1 보상 신호가 없을 때 탐색이 필요로 하는 새로운 환경에 메타강화학습 에이전트가 어떻게 적응할 수 있는가?
• RQ2 왜 기존의 메타강화학습 방법들이 보상 없이도 목표 탐색이 필요한 환경에서 실패하는가?
• RQ3 탐색을 태스크 실행에서 분리하여 보상 신호 없이도 효과적인 적응을 가능하게 할 수 있는가?
• RQ4 다양한 태스크를 해결하는 데 핵심이 되는 정보를 유도할 수 있는 자기지도 신호는 어떤 것인가?
• RQ5 인자화된 메타강화학습 접근법은 복잡하고 희박한 보상 환경의 시각적 탐색 태스크로 확장될 수 있는가?

주요 결과

• DREAM은 보상 신호가 없는 상황에서도 새로운 환경에 성공적으로 적응하여, 이전 메타강화학습 방법이 해결하지 못하는 태스크를 해결한다.
• 희박한 보상 환경에서의 3차원 시각적 탐색 태스크에서 효과적인 적응을 달성하였으며, 이는 이전 방법들이 탐색 부족으로 인해 실패하기 때문이다.
• 탐색을 태스크 실행에서 분리함으로써 DREAM은 탐색이 요구되는 태스크에 대해 메타강화학습에서 내재된 '닭과 계란' 문제를 해결한다.
• DREAM의 자기지도 탐색 목표는 태스크 보상이나 지도된 지시 없이도 유용한 환경 정보를 식별한다.
• DREAM은 자연어 지시어로 지정된 새로운 태스크에 대해 보상 신호 없이도 제로샷 적응을 보여주었다.
• 실험 결과에 따르면 DREAM은 이전의 메타강화학습 접근법보다 더 복잡한 환경으로 확장되었으며, 특히 희박하거나 지연된 보상 환경에서 뛰어난 성능을 보였다.