[논문 리뷰] Learn to Effectively Explore in Context-Based Meta-RL.

Jin Zhang, Jianhao Wang외 4명|arXiv (Cornell University)|2020. 06. 15.

Reinforcement Learning in Robotics참고 문헌 14인용 수 7

한 줄 요약

이 논문은 정보 이론적 내재 보상에 의해 구동되는 전용 탐색 정책을 학습함으로써 탐색과 이용을 분리하는 새로운 오프-폴리시 컨텍스트 기반 메타-RL 프레임워크를 제안한다. 이 방법은 적응 중 정보가 풍부한 경험 수집을 가능하게 하여, 희박 보상 환경인 MuJoCo 및 Meta-World 작업에서 기존 베이스라인을 능가하는 뛰어난 적응 성능을 달성한다.

ABSTRACT

Meta reinforcement learning (meta-RL) provides a principled approach for fast adaptation to novel tasks by extracting prior knowledge from previous tasks. Under such settings, it is crucial for the agent to perform efficient exploration during adaptation to collect useful experiences. However, existing methods suffer from poor adaptation performance caused by inefficient exploration mechanisms, especially in sparse-reward problems. In this paper, we present a novel off-policy context-based meta-RL approach that efficiently learns a separate exploration policy to support fast adaptation, as well as a context-aware exploitation policy to maximize extrinsic return. The explorer is motivated by an information-theoretical intrinsic reward that encourages the agent to collect experiences that provide rich information about the task. Experiment results on both MuJoCo and Meta-World benchmarks show that our method significantly outperforms baselines by performing efficient exploration strategies.

연구 동기 및 목표

• 희박 보상 설정에서 탐색이 비효율하여 기존 메타-RL 방법의 적응 성능이 떨어지는 문제를 해결하기 위해.
• 적응 중 정보가 풍부한 경험을 수집하는 별도의 탐색 정책을 학습하여 빠른 적응을 가능하게 하기 위해.
• 작업 컨텍스트에 기반하여 외재적 보상의 최대화를 목표로 하는 컨텍스트 인식 이용 정책을 설계하기 위해.
• 내재 보상 설계를 통해 컨텍스트 기반 메타-RL에서 샘플 효율성과 탐색 효과성을 향상시키기 위해.
• 특히 도전적인 희박 보상 환경에서 표준 메타-RL 벤치마크에서 뛰어난 성능을 입증하기 위해.

제안 방법

• 작업 컨텍스트에 대한 정보 획득을 최대화하기 위해 정보 이론적 내재 보상으로 훈련된 별도의 탐색 정책을 도입한다.
• 내재 보상은 에이전트의 행동과 작업 컨텍스트 사이의 상호정보량에서 유도되며, 정보가 풍부한 상태-행동 쌍의 탐색을 장려한다.
• 동일한 컨텍스트를 탐색자와 동일하게 사용하는 조건부 컨텍스트 인식 이용 정책을 훈련한다.
• 프레임워크는 오프-폴리시로 운영되어 적응 에피소드 간에 경험 재사용과 효율적인 경험 리플레이를 가능하게 한다.
• 다양한 작업 간의 빠른 적응을 최적화하는 메타-RL 목적함수를 사용하여 탐색 및 이용 정책을 공동으로 훈련한다.
• 컨텍스트 조건부 정책과 내재 신용 할당을 활용한 오프-폴리시 알고리즘(예: SAC 또는 TD3)을 활용한다.

실험 결과

연구 질문

• RQ1 컨텍스트 기반 메타-RL에서 빠른 적응을 위해 탐색을 어떻게 더 효과적으로 만들 수 있는가?
• RQ2 정보 이론적 내재 보상은 희박 보상 메타-RL 환경에서 탐색 효율성을 향상시킬 수 있는가?
• RQ3 탐색과 이용을 분리함으로써 공동 최적화 대비 더 나은 적응 성능을 달성할 수 있는가?
• RQ4 제안된 방법은 표준 벤치마크에서 기존 오프-폴리시 메타-RL 베이스라인과 어떻게 비교되는가?
• RQ5 이 방법은 미리 보지 않은 작업 간의 샘플 효율성과 일반화 능력을 어느 정도 향상시키는가?

주요 결과

• 제안된 방법은 MuJoCo 및 Meta-World 벤치마크에서 기존 오프-폴리시 메타-RL 베이스라인에 비해 적응 성능 면에서 뚜렷한 승리를 거두었다.
• 정보 이론적 내재 보상의 사용은 특히 희박 보상 환경에서 더 효율적인 탐색을 이끌어냈다.
• 분리된 탐색 및 이용 정책는 공동 훈련 접근법 대비 적응 중 더 빠른 수렴을 가능하게 하였다.
• 적응 중 더 나은 경험 수집 덕분에 미리 보지 않은 작업에서 더 높은 최종 보상을 달성하였다.
• 더 빠른 학습 곡선과 감소한 샘플 복잡도로 인해 샘플 효율성이 향상되었음을 입증하였다.
• 제거 실험 결과 내재 보상 메커니즘이 희박 보상 설정에서 성능 향상에 핵심적인 역할을 한다는 것이 확인되었다.