[논문 리뷰] Unicorn: Continual Learning with a Universal, Off-policy Agent

Daniel J. Mankowitz, Augustin Žídek외 8명|arXiv (Cornell University)|2018. 02. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 42인용 수 37

한 줄 요약

Unicorn은 병렬 경험 재생과 통합가치함수근사기법(UVFA)을 통해 다중 정책을 동시에 표현하고 학습함으로써 깊은 종속관계를 가진 다수의 작업을 지속적으로 학습할 수 있는 보편적이고 비정책 기반 강화학습 에이전트를 제안한다. 이는 경험 공유와 기술 재사용을 통해 효율적으로 작동하여 희박한 보상이 주어지는 3차원 환경에서 복잡한 계층적 작업에서 뛰어난 성능을 달성한다.

ABSTRACT

Some real-world domains are best characterized as a single task, but for others this perspective is limiting. Instead, some tasks continually grow in complexity, in tandem with the agent's competence. In continual learning, also referred to as lifelong learning, there are no explicit task boundaries or curricula. As learning agents have become more powerful, continual learning remains one of the frontiers that has resisted quick progress. To test continual learning capabilities we consider a challenging 3D domain with an implicit sequence of tasks and sparse rewards. We propose a novel agent architecture called Unicorn, which demonstrates strong continual learning and outperforms several baseline agents on the proposed domain. The agent achieves this by jointly representing and learning multiple policies efficiently, using a parallel off-policy learning setup.

연구 동기 및 목표

• 명시적인 작업 경계 또는 교육 곡선 없이 깊은 종속관계를 가진 여러 작업을 해결할 수 있는 지속적 학습 에이전트를 개발하는 것.
• 병렬 비정책 프레임워크에서 경험과 표현을 공유함으로써 작업 간 효율적이고 확장 가능한 학습을 가능하게 하는 것.
• 기존의 두 단계 강화학습 접근법이 스킬 습득과 작업 조합을 분리하는 한계를 극복하는 것.
• 희박한 보상이 주어지는 풍부한 3차원 환경에서 복잡하고 상호의존적인 작업을 종합적으로 단일 단계에서 학습하는 것을 보여주는 것.
• 에이전트의 일반화 능력, 지식 전이 능력, 작업 깊이 및 복잡성 증가에 따른 확장성 평가

제안 방법

• 에이전트는 공유 파rameter를 사용하여 다중 목표의 가치 함수를 통합적으로 표현하기 위해 통합가치함수근사기법(UVFA)을 사용한다.
• 다양한 병렬 액터에서 생성된 롤아웃을 저장하는 글로벌 경험 재생 버퍼를 통해 비정책 학습을 구현한다.
• 각 액터는 목표를 균일하게 무작위로 샘플링하고, 목표 조건부 정책에 따라 행동함으로써 단일 학습 루프 내에서 다중 작업 학습을 가능하게 한다.
• 기울기는 UVFA를 통해 역전파되며, 각 학습 단계 후에 모든 액터가 최신 글로벌 네트워크 파라미터로 동기화된다.
• 공유된 표현과 경험 덕분에 공통된 표현과 경험을 통해 제로샷 전이와 상호보완적 학습이 가능하다.
• 스케일링을 고려하여 설계되었으며, 다중 작업 설정에서 선형 스케일링 행동이 관찰되었다.

실험 결과

연구 질문

• RQ1 단일 에이전트 아키텍처가 명시적인 교육 곡선이나 작업 경계 없이 다수의 상호의존 작업을 종합적으로 끝내는 데 성공할 수 있는가?
• RQ2 경험 공유를 통한 비정책 다중목표 학습이 깊은 종속관계를 가진 계층적 작업에서 성능을 어떻게 향상시키는가?
• RQ3 단일 공유 표현을 사용할 때, 관련된 작업과 관련이 없는 작업 간에 보편적 정책이 얼마나 일반화될 수 있는가?
• RQ4 제안된 아키텍처는 작업 수와 작업 깊이 증가에 따라 효율적으로 확장되는가?
• RQ5 보상 형태 조정이나 명시적 지도 없이도 희박한 보상 환경에서 자연스러운 교육 곡선을 활용할 수 있는가?

주요 결과

• Unicorn 에이전트는 최고의 베이스라인(glutton)보다 유의미하게 높은 최종 성능을 기록하여 베이스라인의 1.05에 비해 4.75의 케이지 보상을 획득함으로써 깊은 종속관계를 효과적으로 처리함을 보여주었다.
• Unicorn은 능력 향상 단계를 보이며, 특히 가장 어려운 서브작업(예: 케이지)에서 베이스라인 대비 가장 큰 성능 격차를 보였고, 이는 복잡한 종속관계를 효과적으로 학습했음을 확인한다.
• 성능는 작업 수에 비례하여 약선형적으로 증가했으며, 이는 다중 작업 지속적 학습 설정에서 메서드의 확장성을 보여준다.
• 에이전트는 테스트 시 4개의 서브작업(키, 锁, 문, 케이지)을 모두 정확한 순서로 해결했으며, 각각 9.93개의 키, 6.99개의 锁, 5.92개의 문, 4.75개의 케이지 보상을 획득했다.
• 절단 실험 결과, 비정책 학습 자체만으로도 강력한 성능이 달성되었으며, 밴딧 기반 교육 곡선 학습이 균일 샘플링 대비 결과 향상이 뚜렷하지 않았다.
• 4작업 순서에서 단일 작업 전문가 베이스라인을 초월했고, 종속성 깊이가 5개 작업으로 증가할 경우 작업을 학습하지 못함을 확인하여 경험 공유와 다중 작업 학습의 중요성을 입증했다.