[논문 리뷰] Hypernetworks in Meta-Reinforcement Learning

Jacob Beck, Matthew Thomas Jackson외 2명|arXiv (Cornell University)|2022. 10. 20.

Reinforcement Learning in Robotics인용 수 5

한 줄 요약

이 논문은 메타강화학습에서 과제 간 일반화를 가능하게 하면서도 기존 최상위 성능를 유지하거나 초월하는 새로운 하이퍼넷워크 초기화 방법인 Bias-HyperInit를 제안한다. 이 방법은 기존의 단순 초기화 및 지도학습 기반 초기화 방법보다 뛰어나며, VariBAD 및 RL2에 적용했을 때 Pick-Place에서 성공률이 최대 9배 향상되었고, MuJoCo, Meta-World 및 격자세계 벤치마크에서 일관된 성능 향상을 보였다.

ABSTRACT

Training a reinforcement learning (RL) agent on a real-world robotics task remains generally impractical due to sample inefficiency. Multi-task RL and meta-RL aim to improve sample efficiency by generalizing over a distribution of related tasks. However, doing so is difficult in practice: In multi-task RL, state of the art methods often fail to outperform a degenerate solution that simply learns each task separately. Hypernetworks are a promising path forward since they replicate the separate policies of the degenerate solution while also allowing for generalization across tasks, and are applicable to meta-RL. However, evidence from supervised learning suggests hypernetwork performance is highly sensitive to the initialization. In this paper, we 1) show that hypernetwork initialization is also a critical factor in meta-RL, and that naive initializations yield poor performance; 2) propose a novel hypernetwork initialization scheme that matches or exceeds the performance of a state-of-the-art approach proposed for supervised settings, as well as being simpler and more general; and 3) use this method to show that hypernetworks can improve performance in meta-RL by evaluating on multiple simulated robotics benchmarks.

연구 동기 및 목표

• 메타강화학습에서 하이퍼넷워크 초기화의 핵심 과제를 해결하기 위해, 단순한 초기화 방법이 안정적인 성능을 내지 못하는 문제를 해결한다.
• 지도학습 설정에서의 최상위 성능를 유지하거나 초월하는 일반적이고 단순한 초기화 방법을 제안한다.
• 적절히 초기화된 하이퍼넷워크가 다양한 시뮬레이션된 로봇 환경에서 메타강화학습 에이전트의 성능을 크게 향상시킬 수 있음을 보여준다.
• 모델 총 크기가 제약을 받는 조건에서도 하이퍼넷워크가 표준 아키텍처보다 샘플 효율성과 일반화 능력 면에서 뛰어나다는 것을 보여준다.

제안 방법

• 하이퍼넷워크가 목표 초기화 분포를 따르는 기본 네트워크 가중치를 생성하도록 하는 새로운 하이퍼넷워크 초기화 기법인 Bias-HyperInit를 제안한다.
• 목표 분포를 따르는 기본 네트워크 가중치를 생성하도록 하이퍼넷워크 가중치를 직접 초기화하는 보완 기법인 Weight-HyperInit를 도입한다.
• 하이퍼넷워크를 메타강화학습에 적용하기 위해, 과제 인코더에서 생성한 과제 임베딩에 따라 하이퍼넷워크를 조절함으로써 테스트 시 과제 ID 없이도 과제별 정책의 파라미터를 생성할 수 있도록 한다.
• 정책 그래เดียน트 업데이트를 사용하는 표준 메타강화학습 학습 프레임워크를 사용하며, 하이퍼넷워크는 각 타임스텝에서 정책 네트워크의 파라미터를 동적으로 생성한다.
• 하이퍼넷워크의 출력이 기본 정책 네트워크의 파라미터 업데이트에 사용되는 미분 가능 아키텍처를 활용하여 엔드 투 엔드 학습을 가능하게 한다.
• VariBAD 및 RL2를 베이스라인으로 사용하여 Meta-World, MuJoCo 및 격자세계 벤치마크에서 표준 메타강화학습 벤치마크를 평가한다.

실험 결과

연구 질문

• RQ1 하이퍼넷워크 초기화가 메타강화학습 성능에 크게 영향을 미치는가? 그리고 단순한 초기화 방법이 실패하는가?
• RQ2 아키텍처나 분포에 특화되지 않은 일반적인 하이퍼넷워크 초기화 방법을 설계할 수 있는가? 이 방법이 지도학습 설정에서의 최상위 성능를 유지하거나 초월할 수 있는가?
• RQ3 제안된 초기화 방법을 적용한 하이퍼넷워크는 기존 아키텍처 및 기존 방법보다 다양한 메타강화학습 벤치마크에서 성능 향상을 이룰 수 있는가?
• RQ4 하이퍼넷워크의 성능 향상은 모델 크기에 따라 스케일업되며, 총 파라미터 수가 제약을 받는 조건에서도 표준 아키텍처를 능가하는가?

주요 결과

• Bias-HyperInit는 Pick-Place에서 34.2%의 성공률을 기록하여 표준 아키텍처의 3.8% 대비 9배 향상되었고, HFI(25.5%)를 초월했다.
• ML10에서 Bias-HyperInit를 적용한 하이퍼넷워크는 표준 아키텍처 대비 성공률이 2배 향상되었으며, HFI를 능가했다.
• Cheetah-Dir 및 Walker에서 Bias-HyperInit를 적용한 하이퍼넷워크는 모든 기본 네트워크 크기와 총 파라미터 수에서 표준 아키텍처와 동등하거나 슈퍼어리어했으며, 특히 모델 크기가 클수록 두드러진 성능 향상을 보였다.
• VariBAD 및 RL2에 모두 적용했을 때 성능 향상이 있었으며, RL2에 적용했을 때 ML10에서 성공률이 2배 향상되었다.
• Bias-HyperInit는 FiLM 및 표준 아키텍처를 포함한 모든 평가된 벤치마크에서 HFI 성능를 유지하거나 초월했으며, 더 단순하고 일반적인 방법이었다.
• 총 파라미터 수가 동일한 조건에서도 Bias-HyperInit를 적용한 하이퍼넷워크는 표준 아키텍처를 일관되게 능가했으며, 뛰어난 샘플 효율성을 입증했다.