[논문 리뷰] FOCAL: Efficient Fully-Offline Meta-Reinforcement Learning via Distance Metric Learning and Behavior Regularization

Lanqing Li, Rui Yang외 1명|arXiv (Cornell University)|2020. 10. 02.

Reinforcement Learning in Robotics인용 수 9

한 줄 요약

FOCAL은 처음으로 종단 간, 모델 불필요, 완전히 오프라인인 메타강화학습 알고리즘을 제안하며, 결정적 컨텍스트 인코딩과 새로운 역거듭제곱 거리 메트릭 손실, 행동 정규화를 결합하여 정적 오프라인 데이터에서 효율적이고 강건한 태스크 추론과 빠른 적응을 가능하게 한다. 온라인 상호작용이나 사전 태스크 식별 정보 없이도 연속 제어 메타강화학습 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We study the offline meta-reinforcement learning (OMRL) problem, a paradigm which enables reinforcement learning (RL) algorithms to quickly adapt to unseen tasks without any interactions with the environments, making RL truly practical in many real-world applications. This problem is still not fully understood, for which two major challenges need to be addressed. First, offline RL usually suffers from bootstrapping errors of out-of-distribution state-actions which leads to divergence of value functions. Second, meta-RL requires efficient and robust task inference learned jointly with control policy. In this work, we enforce behavior regularization on learned policy as a general approach to offline RL, combined with a deterministic context encoder for efficient task inference. We propose a novel negative-power distance metric on bounded context embedding space, whose gradients propagation is detached from the Bellman backup. We provide analysis and insight showing that some simple design choices can yield substantial improvements over recent approaches involving meta-RL and distance metric learning. To the best of our knowledge, our method is the first model-free and end-to-end OMRL algorithm, which is computationally efficient and demonstrated to outperform prior algorithms on several meta-RL benchmarks.

연구 동기 및 목표

• 환경 상호작용 없이도 새로운 태스크에 빠르게 적응할 수 있는 완전히 오프라인 메타강화학습 알고리즘 개발
• 학습된 정책에 대한 행동 정규화를 통해 오프라인 강화학습에서의 부트스트랩 오류를 완화
• 새로운 거리 메트릭 손실을 갖춘 결정적 컨텍스트 인코더를 통해 효율적이고 강건한 태스크 추론 구현
• 태스크 표현 학습의 안정성과 표현 품질 향상을 위해 벨먼 백업과 컨텍스트 인코더 학습을 분리
• 정적 로깅된 데이터만을 사용하여 연속 제어 메타강화학습 벤치마크에서 최신 기술 수준의 성능 입증

제안 방법

• 오프라인 트레이젝터리에서 태스크 특화 정보를 임bedding하는 결정적 컨텍스트 인코더를 제안하여 탐색 없이도 빠른 적응 가능
• 경계가 정해진 컨텍스트 임베딩에 대해 쿨롱 포텐셜을 영감으로 삼은 음수 거듭제곱 거리 메트릭 손실(역거듭제곱)을 도입하여 서로 다른 태스크 표현 간의 분리도 향상
• 기울기 탈거를 통해 컨텍스트 인코더 학습을 벨먼 백업에서 분리하여 안정성 향상 및 태스크 임베딩의 붕괴 방지
• 오프라인 강화학습에서의 분포 외 상태-행동 부트스트랩 오류를 완화하기 위해 행동 정규화(예: 가치 페널티 및 정책 정규화)를 적용
• 태스크 전이 대응 가정 하에 메타강화학습을 태스크 증강 MDP로 재정의하여 컨텍스트 학습과 제어 정책 최적화 통합
• 표준 액터-크리틱 프레임워크와 오프폴리시 업데이트를 사용하며, 종단 간 방식으로 정책과 컨텍스트 표현을 공동 최적화

실험 결과

연구 질문

• RQ1 완전히 오프라인인 메타강화학습 알고리즘이 환경 상호작용 없이도 새로운 태스크에 대해 빠르고 강건하게 적응할 수 있는가?
• RQ2 행동 정규화가 필요할 때 오프라인 메타강화학습에서 효과적인 태스크 표현 학습을 어떻게 달성할 수 있는가?
• RQ3 거리 메트릭 학습과 컨텍스트 인코딩에서 어떤 설계 선택이 오프라인 메타강화학습에서 우수한 성능과 안정성에 기여하는가?
• RQ4 컨텍스트 인코더 학습을 벨먼 업데이트에서 분리하면 태스크 임베딩 품질과 전체 정책 성능이 향상되는가?
• RQ5 거리 메트릭 선택(예: 역거듭제곱 대비 선형/제곱)이 태스크 임베딩 군집화와 후속 강화학습 성능에 어떤 영향을 미치는가?

주요 결과

• FOCAL은 Walker-2D-Params 및 Ant-2D-Params를 포함한 여러 연속 제어 메타강화학습 벤치마크에서 이전의 오프라인 메타강화학습 방법들을 능가한다.
• 역거듭제곱 거리 메트릭 손실은 Walker-2D-Params에서 0.840의 높은 효과적 분리율(ESR)을 기록하며, 선형(0.819), 제곱(0.506), 역제곱(0.861) 변형보다 뚜렷이 뛰어난 성능을 보였다.
• 결정적 컨텍스트 인코더는 확률적 대안보다 더 우수한 성능을 기록했으며, t-SNE 시각화를 통해 태스크 임베딩의 효과적 군집화가 관찰되었다.
• 벨먼 기울기에서 컨텍스트 인코더를 분리함으로써 임베딩 붕괴를 방지하고 안정적인 학습이 가능했으며, t-SNE 및 수익 곡선 비교를 통해 이를 확인했다.
• 온라인 상호작용이나 태스크 식별 정보 없이도 정적 로깅된 데이터만으로도 뛰어난 샘플 효율성과 신속한 적응 성능 달성
• 실험 분석을 통해 행동 정규화가 복잡한 오프라인 메타강화학습 환경에서 수렴을 위해 필수적이며, 학습 전략과의 상호작용이 성능에 크게 영향을 미친다