[논문 리뷰] Learning to Learn: Meta-Critic Networks for Sample Efficient Learning

Flood Sung, Li Zhang외 3명|arXiv (Cornell University)|2017. 06. 29.

Reinforcement Learning in Robotics참고 문헌 31인용 수 96

한 줄 요약

논문은 task- 및 actor- 조건부 크리틱을 학습하는 메타-크리틱 프레임워크를 제안하여 RL과 감독 학습에서 다수의 에이전트를 가이드하고, 몇 가지 예제에서의 빠른 적응과 반지도 학습 데이터의 이점을 가능하게 한다.

ABSTRACT

We propose a novel and flexible approach to meta-learning for learning-to-learn from only a few examples. Our framework is motivated by actor-critic reinforcement learning, but can be applied to both reinforcement and supervised learning. The key idea is to learn a meta-critic: an action-value function neural network that learns to criticise any actor trying to solve any specified task. For supervised learning, this corresponds to the novel idea of a trainable task-parametrised loss generator. This meta-critic approach provides a route to knowledge transfer that can flexibly deal with few-shot and semi-supervised conditions for both reinforcement and supervised learning. Promising results are shown on both reinforcement and supervised learning problems.

연구 동기 및 목표

• RL과 감독 학습 모두에서 단 몇 개의 예제만으로도 잘 수행하도록 학습-학습을 유도한다.
• 작업과 행위자에 조건화되어 어떤 작업을 해결하는 어떤 행위자든 평가할 수 있는 글로벌 메타-크리틱을 제안한다.
• 메타-크리틱을 조건화하기 위해 작업-행위자 임베딩을 생성하는 작업-행위자 인코더를 도입한다.
• 정답 라벨 없이도 반지도 감독 신호를 통해 지식 전이를 가능하게 한다.
• 다양한 실험 설정에서 샘플-효율적 학습과 강건한 전달을 입증한다.

제안 방법

• 메타-크리틱은 메타-가치 네트워크(MVN)와 작업-행위자 인코더(TAEN)로 구성된다.
• 현재 작업과 행위자에 조건화를 주기 위해 z_t = C_ω(L_t−k) 의 작업-행위자 임베딩을 사용한다.
• TAEN은 z_t를 생성하기 위해 학습 흔적 L_tk = [(s_t−k, a_t−k, r_t−k), ..., (s_t−1, a_t−1, r_t−1)]를 읽는다.
• 메타-크리틱이 Q_φ(s_t, a_t, z_t)와 TD-유사 업데이트를 통해 감독을 제공하도록 다양한 작업에서 행위자를 학습시킨다.
• 프레임워크를 이산 및 연속 행동 RL로 확장하고 보상이 손실의 음수인 1단계 행위자-환경 게임을 통해 감독 학습 설정으로 확장한다.
• 메타-테스트 중 ground-truth 라벨 없이 메타-크리틱의 감독을 사용하여 라벨이 없는 데이터를 활용한다.

실험 결과

연구 질문

• RQ1 작업과 행위자에 조건화된 단일 메타-크리틱이 RL과 SL에서 여러 작업에 걸쳐 다양한 행위자를 효과적으로 감독할 수 있는가?
• RQ2 작업-행위자 인코더를 통한 작업 조건화가 다양한 작업 분포를 가진 다중 작업 메타학습에서 강건한 전이를 가능하게 하는가?
• RQ3 메타-테스트 중 반지도 데이터를 활용하여 샘플 효율성을 더 향상시킬 수 있는가?
• RQ4 메타-크리틱의 가이드가 SL과 RL 벤치마크에서 기존의 메타학습 방법들(예: MAML)과 비교하여 어떤 차이를 보이는가?
• RQ5 공유된 메타-크리틱을 사용한 새로운 작업에 대한 빠른 적응에서의 영향은 무엇인가?

주요 결과

• 메타-크리틱 프레임워크는 RL과 감독 학습 설정 모두에서 새로운 작업에 대한 빠른 적응을 가능하게 한다.
• TAEN 내장 작업 조건화는 크리틱이 다양한 작업 분포를 일반화하게 하여 단일 사전 방법이 어려움을 겪는 혼합 작업에서 성능을 향상시킨다.
• 감독 학습에서 메타-크리틱은 소수의 라벨링된 예제로 학습을 감독하고, 메타-테스트 중에는 라벨이 없는 데이터를 활용할 수 있다.
• RL 실험(의존형 다팔팔 길잡이 및 cartpole)에서 메타-크리틱은 표준, All+FT, 그리고 MAML 기준선보다 샘플-효율 학습과 최종 성능 면에서 우수하다.
• 학습된 TAEN 임베딩은 명시적으로 작업 매개변수에 노출되지 않아도 작업 구조(예: cartpole 폴 길이)를 반영하여 의미 있는 작업 매니폴드를 시사한다.