[논문 리뷰] Synthesized Policies for Transfer and Adaptation across Tasks and Environments

Hexiang Hu, Liyu Chen외 2명|arXiv (Cornell University)|2019. 04. 05.

Reinforcement Learning in Robotics참고 문헌 21인용 수 11

한 줄 요약

이 논문은 메타 규칙을 통해 환경과 작업의 분리된 임베딩을 학습하여 이식 가능한 정책을 구성하는 Synthesized Policies (SynPo)를 제안한다. 단지 40%의 (환경, 작업) 조합에서 훈련함으로써 SynPo는 격자세계에서 미사용 조합에서 평균 96.16%의 성공률을 달성하고, thor에서 미사용 쌍에서 35.4%의 성공률을 기록하며 일반화 및 적응 능력에서 기존의 기준보다 뛰어나다.

ABSTRACT

The ability to transfer in reinforcement learning is key towards building an agent of general artificial intelligence. In this paper, we consider the problem of learning to simultaneously transfer across both environments (ENV) and tasks (TASK), probably more importantly, by learning from only sparse (ENV, TASK) pairs out of all the possible combinations. We propose a novel compositional neural network architecture which depicts a meta rule for composing policies from the environment and task embeddings. Notably, one of the main challenges is to learn the embeddings jointly with the meta rule. We further propose new training methods to disentangle the embeddings, making them both distinctive signatures of the environments and tasks and effective building blocks for composing the policies. Experiments on GridWorld and Thor, of which the agent takes as input an egocentric view, show that our approach gives rise to high success rates on all the (ENV, TASK) pairs after learning from only 40% of them.

연구 동기 및 목표

• 새로운 환경과 작업 간에 효율적인 이식과 적응이 가능한 강화학습 환경을 제공하기 위해.
• 희소한 (환경, 작업) 쌍 데이터로부터 효과적인 정책을 학습하는 데 도전하기 위해.
• 정책 조합의 효과적인 구성 요소가 되는 분리된 환경 및 작업 임베딩을 동시에 학습하기 위해.
• 작업과 환경 표현의 분리로 일반화 능력을 향상시키고 과적합을 줄이기 위해.
• 정책 기반은 그대로 유지하면서 뉴런 임베딩만 새로 학습함으로써 새로운 환경이나 작업에서 소수의 예시로도 적응할 수 있도록 하기 위해.

제안 방법

• 환경 및 작업 임베딩의 선형 조합을 사용하여 정책 기반 함수를 합성하는 구성적 신경망 아키텍처를 제안한다.
• 환경과 작업 임베딩이 상이하고 정책 조합에 효과적으로 기여하도록 하기 위해, 분리 목적 함수를 사용하여 정책 기반과 임베딩을 함께 훈련한다.
• 정책 기반은 추론 시에 고정되어 있으며, 희소한 (환경, 작업) 쌍 세트에서 학습한다.
• 메타 규칙이 환경 및 작업 임베딩의 함수로 정책을 조합함으로써 새로운 조합에 대해 제로샷 이식을 가능하게 한다.
• 최소한의 데이터로 새로운 환경이나 작업에서 PPO를 사용해 미세조정함으로써, 고정된 정책 기반과 새로 유도된 임베딩을 활용한다.
• 환경과 작업에 대해 별개의 저차원 표현을 유도하도록, 새로운 목적 함수를 통해 분리를 강제한다.

실험 결과

연구 질문

• RQ1 희소한 (환경, 작업) 쌍 데이터만을 사용하여 단일 정책 조합 메커니즘이 새로운 환경과 작업 모두에 일반화될 수 있는가?
• RQ2 강화학습에서 정책 이식과 적응 능력을 향상시키는 데 있어 분리된 표현 학습이 얼마나 효과적인가?
• RQ3 고정된 정책 기반과 함께 학습된 임베딩을 사용하면, 최소한의 미세조정 데이터로도 새로운 (환경, 작업) 조합에서 높은 성능을 달성할 수 있는가?
• RQ4 복잡한 환경에서 제안된 방법의 성능이 기존의 다중작업 및 이식학습 기준보다 어떻게 비교되는가?
• RQ5 임베딩의 점진적 학습(예: 작업 또는 환경 중 하나만)이 동시에 학습하는 것보다 새로운 이식 시나리오에서 성능이 뛰어나게 되는가?

주요 결과

• SynPo는 격자세계에서 40%의 조합만 훈련한 후, 미사용 (환경, 작업) 조합에서 평균 96.16%의 성공률을 기록했으며, MLP, MTL, ModuleNet보다 뚜렷이 뛰어나다.
• 사진처럼 현실적인 thor 시뮬레이터에서는, SynPo가 35.4%의 성공률을 기록했고, 모든 기준보다 뛰어나며, ModuleNet(14.4%), MLP(25.8%), MTL(33.3%)를 모두 앞서나갔다.
• 제거 실험을 통해 환경 및 작업 임베딩의 분리가 효과적인 정책 합성과 일반화에 필수적임을 확인했다.
• 작업 또는 환경 중 하나만을 점진적으로 임베딩을 학습하는 Transfer setting 2는 동시에 둘 다 학습하는 setting 3보다 성능이 뛰어나, 순차적 적응이 더 효과적임을 시사했다.
• PPO를 사용한 미세조정은 모든 방법에서 이식 성능을 향상시켰지만, SynPo는 가장 높은 성능 향상을 유지하여 강건성과 확장성을 입증했다.
• 작업과 환경 간 정책 성능의 시각화 결과, 작업 간 이식은 환경 간 이식보다 더 쉽다는 점이 확인되었으며, 이는 인간 학습 패턴과 일치한다.