[논문 리뷰] Recomposing the Reinforcement Learning Building Blocks with Hypernetworks

Shai Keynan, Elad Sarafian외 1명|arXiv (Cornell University)|2021. 06. 12.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

이 논문은 상태 또는 컨텍스트를 메타변수로 간주하여 강화학습(RL)의 빌딩 블록—Q함수와 정책 네트워크—를 재구성하기 위해 하이퍼네트워크(Hypernetworks)를 제안한다. 상태-행동 상호작용을 더 명시적으로 모델링함으로써 액터-크리틱 방법의 기울기 추정을 향상시키고 메타-RL에서 학습 단계의 분산을 감소시켜, 이동 과제에서 TD3, SAC, MAML, PEARL 전반에 걸쳐 빠른 수렴과 뛰어난 성능을 달성한다.

ABSTRACT

The Reinforcement Learning (RL) building blocks, i.e. Q-functions and policy networks, usually take elements from the cartesian product of two domains as input. In particular, the input of the Q-function is both the state and the action, and in multi-task problems (Meta-RL) the policy can take a state and a context. Standard architectures tend to ignore these variables' underlying interpretations and simply concatenate their features into a single vector. In this work, we argue that this choice may lead to poor gradient estimation in actor-critic algorithms and high variance learning steps in Meta-RL algorithms. To consider the interaction between the input variables, we suggest using a Hypernetwork architecture where a primary network determines the weights of a conditional dynamic network. We show that this approach improves the gradient approximation and reduces the learning step variance, which both accelerates learning and improves the final performance. We demonstrate a consistent improvement across different locomotion tasks and different algorithms both in RL (TD3 and SAC) and in Meta-RL (MAML and PEARL).

연구 동기 및 목표

• 표준 상태 및 행동 입력의 연결 방식으로 인해 액터-크리틱 RL 알고리즘에서 기울기 추정이 열악해지는 문제를 해결하기 위해.
• 상태 및 컨텍스트에 의존하는 기울기들을 분리함으로써 메타-RL 알고리즘에서 학습 단계의 분산을 줄이기 위해.
• Q함수와 정책 네트워크의 본질적 계층적 구조를 모델링함으로써 표현 능력을 향상시키기 위해.
• 하이퍼네트워크가 표준 MLP보다 표준 RL 및 메타-RL 벤치마크에서 더 우수한 성능을 보임을 입증하기 위해.
• 오라클 컨텍스트를 사용할 경우 MAML의 적응 단계를 제거할 수 있으며, 이는 훈련 효율성을 향상시킨다.

제안 방법

• 기본 네트워크가 상태 또는 컨텍스트에 따라 조건부 크리틱 또는 정책 네트워크의 가중치를 생성하는 하이퍼네트워크 아키텍처를 사용한다.
• Q함수는 컨텍스트 기반 밴드잇으로 모델링되며, 상태가 메타변수로 기능하여 행동에서 Q값으로의 맵핑을 하는 동적 네트워크의 가중치를 결정한다.
• 메타-RL에서 정책 네트워크는 작업 컨텍스트가 정책의 가중치를 조절하는 하이퍼네트워크로 구성되어, 컨텍스트에 의존하는 행동-가치 추정을 가능하게 한다.
• 간단한 연결을 피하기 위해 상태와 행동(또는 컨텍스트와 상태) 간의 상호작용을 동적 가중치 생성을 통해 명시적으로 모델링한다.
• TD3, SAC, MAML, PEARL에 이 방법을 적용하고, 하이퍼네트워크와 표준 MLP, 컨텍스트 증강 모델 간의 추론 실험을 수행한다.
• 메타-정책을 직접 최적화함으로써 MAML의 적응 단계가 필요 없게 되는, 하이퍼-MAML의 다중 작업 변형을 도입한다.

실험 결과

연구 질문

• RQ1 하이퍼네트워크를 사용하여 상태-행동 상호작용을 더 효과적으로 모델링함으로써, 액터-크리틱 RL 알고리즘에서 기울기 근사치를 향상시킬 수 있는가?
• RQ2 MAML 및 PEARL과 같은 메타-RL 알고리즘에서 하이퍼네트워크를 사용하면 학습 단계의 분산이 감소하는가?
• RQ3 오라클 컨텍스트를 사용할 경우 MAML의 적응 단계를 제거할 수 있으며, 이는 훈련 효율성을 향상시키는가?
• RQ4 여러 RL 환경에서 하이퍼네트워크 기반 Q함수와 표준 MLP 간의 최종 성능 및 학습 속도를 비교할 경우 어떻게 되는가?
• RQ5 다중 작업 RL 환경에서 하이퍼네트워크는 일반화 능력과 샘플 효율성을 어느 정도 향상시키는가?

주요 결과

• TD3와 SAC에서 하이퍼네트워크 기반 크리틱은 표준 MLP보다 우수하며, 하이퍼-SAC는 하프치타의 수익으로 4844±254를 기록하여 표준 SAC의 4638±441보다 높다.
• MAML에서 오라클 컨텍스트를 사용한 하이퍼-MAML는 체타-퍼-백에서 테스트 작업 수익으로 558±49를 기록하여 컨텍스트-MAML(315±93)을 초월하며, 적응 단계가 필요 없어졌다.
• 다중 작업 하이퍼-MAML는 적응이 있는 하이퍼-MAML보다 우수하여 체타-퍼-백에서 539±102의 수익을 기록했고, 적응 루프를 제거함으로써 훈련 시간을 단축시켰다.
• PEARL에서 하이퍼-PEARL는 앤티-벨에서 1828±203의 수익을 기록하여 표준 PEARL(1636±210)을 뛰어넘었으며, 모든 환경에서 일관된 향상이 있었다.
• 하이퍼네트워크 접근법은 상태에 의존하는 기울기를 통합함으로써 메타-RL에서 기울기 분산을 감소시켜 더 안정적이고 효율적인 학습을 가능하게 했다.
• 이 방법은 하프치타, 앤티, 워커 등의 다양한 환경과 TD3, SAC, MAML, PEARL 등의 알고리즘 전반에서 일관되게 성능을 향상시켜 광범위한 적용 가능성을 입증했다.