[논문 리뷰] Towards Effective Context for Meta-Reinforcement Learning: an Approach based on Contrastive Learning

Haotian Fu, Hongyao Tang외 5명|arXiv (Cornell University)|2020. 09. 29.

Reinforcement Learning in Robotics참고 문헌 33인용 수 9

한 줄 요약

이 논문은 임베딩의 질을 향상시키기 위해 대조학습을 통한 컨텍스트 인코딩과 정보 이득 기반 탐색 전략을 활용하는 새로운 메타강화학습 프레임워크인 CCM을 제안한다. 동일한 작업에 속한 트레이젝터리 간의 구별을 통해 컨텍스트 인코더를 훈련하고, 정보 이득 최적화를 통한 탐색 전략을 통해 유의미한 전이 상태를 수집함으로써, CCM은 연속 제어 벤치마크에서 최고 수준의 성능을 달성하며 일반화 능력과 샘플 효율성이 뛰어나다.

ABSTRACT

Context, the embedding of previous collected trajectories, is a powerful construct for Meta-Reinforcement Learning (Meta-RL) algorithms. By conditioning on an effective context, Meta-RL policies can easily generalize to new tasks within a few adaptation steps. We argue that improving the quality of context involves answering two questions: 1. How to train a compact and sufficient encoder that can embed the task-specific information contained in prior trajectories? 2. How to collect informative trajectories of which the corresponding context reflects the specification of tasks? To this end, we propose a novel Meta-RL framework called CCM (Contrastive learning augmented Context-based Meta-RL). We first focus on the contrastive nature behind different tasks and leverage it to train a compact and sufficient context encoder. Further, we train a separate exploration policy and theoretically derive a new information-gain-based objective which aims to collect informative trajectories in a few steps. Empirically, we evaluate our approaches on common benchmarks as well as several complex sparse-reward environments. The experimental results show that CCM outperforms state-of-the-art algorithms by addressing previously mentioned problems respectively.

연구 동기 및 목표

• 임베딩된 컨텍스트의 질을 향상시키기 위해, 노이즈가 많은 컨텍스트 인코더와 최적화되지 않은 트레이젝터리 수집이라는 두 가지 핵심 문제를 해결하는 것.
• 불필요한 종속성 모델링 없이 트레이젝터리 내에서 작업별 정보를 직접 구별하는 대조학습 기반 방법을 개발하는 것.
• 최소한의 상호작용으로 컨텍스트 향상도를 극대화하는 정보 이론적 탐색 목표를 설계하는 것.
• 유의미한 트레이젝터리에서 유고한, 작업에 특화된 컨텍스트를 생성함으로써 효과적인 오프-폴리시 메타-RL을 가능하게 하는 것.
• 기존 방법이 샘플 효율성과 일반화 능력에서 어려움을 겪는 복잡하고 보상이 희박한 환경에서 프레임워크의 유효성을 검증하는 것.

제안 방법

• 동일한 작업에서 유래한 전이 상태를 양성 쌍으로, 다른 작업에서 유래한 전이 상태를 음성 쌍으로 간주하여 컨텍스트 인코더를 훈련하기 위한 대조학습 프레임워크를 제안한다.
• InfoNCE 대조 손실을 사용하여 작업별 트레이젝터리와 그 임베딩 간의 상호정보량을 극대화함으로써, 밀도가 높고 작업에 특화된 컨텍스트 표현을 보장한다.
• 대조학습 프레임워크 내에서 정보 이득의 이론적 하한을 기반으로 한 내재적 보상으로 훈련된 별도의 탐색 정책을 도입한다.
• 탐색 목표는 각 새로운 전이 상태 이후 컨텍스트 추론 품질 향상도를 극대화하도록 설계되어 있어 데이터 효율성을 향상시킨다.
• 학습된 컨텍스트에 기반해 정책를 조건화함으로써 오프-폴리시 메타-RL을 구현함으로써, 적은 상호작용 수로 새로운 작업에 빠르게 적응할 수 있도록 한다.
• 두 단계 파이프라인을 통해 컨텍스트 인코더와 탐색 정책을 공동으로 훈련한다: 먼저 대조 손실을 통해 인코더를 사전 훈련하고, 그 다음 내재적 보상으로 탐색 에이전트를 훈련한다.

실험 결과

연구 질문

• RQ1 임베딩된 컨텍스트의 품질을 향상시키기 위해, 작업에만 관련된 정보만 포함하고 불필요한 종속성을 제거하는 방법은 무엇인가?
• RQ2 대조학습이 자율학습 방식으로 트레이젝터리 수준의 표현에서 서로 다른 작업을 효과적으로 구별하는 데 적용될 수 있는가?
• RQ3 정보 이론 기반 탐색 전략은 특히 보상이 희박한 환경에서 컨텍스트 추론에 가장 효과적인 트레이젝터리를 수집할 수 있도록 어떻게 설계할 수 있는가?
• RQ4 정보 이득 기반 내재적 보상은 기존 탐색 방법보다 메타-RL에서 더 나은 컨텍스트 품질과 더 빠른 적응을 이끌어낼 수 있는가?
• RQ5 대조학습 기반 컨텍스트 인코더와 정보 이론 기반 탐색 정책의 조합이 기존 SOTA 메타-RL 알고리즘을 초월할 수 있는가?

주요 결과

• CCM은 표준 연속 제어 벤치마크, 특히 보상이 희박한 환경에서 최고 수준의 성능을 달성하며 샘플 효율성과 최종 성능 모두에서 기존 방법을 능가한다.
• 대조학습 기반 컨텍스트 인코더는 작업에 특화된 특징에만 집중함으로써 잠재 표현의 노이즈를 크게 감소시켰으며, 이는 다양한 작업 간의 제로샷 일반화 능력 향상으로 입증되었다.
• 정보 이득 기반 탐색 전략은 컨텍스트 추론에 더 효과적인 트레이젝터리를 수집하여 메타테스트 기간 동안 더 빠르고 안정적인 적응을 이끌어냈다.
• 실험 결과 CCM은 효과적인 적응을 위해 필요한 상호작용 수를 줄였으며, 특히 기존 방법이 성능을 발휘하기 어려운 복잡하고 보상이 희박한 환경에서 두드러진다.
• 절단 실험 결과, 컨텍스트 인코더의 대조학습과 정보 이득 탐색 목표 모두 성능 향상에 기여하는 바가 크다는 것이 확인되었다.
• CCM은 목표만 다를 뿐 다른 요소가 동일한 다양한 작업 분포에 대해 뛰어난 강건성을 보였으며, 표준 탐색 전략이 구분 가능한 전이 상태를 수집하지 못하는 경우에도 유의미한 성능 유지를 보였다.