[논문 리뷰] Universal Successor Features Approximators

Diana Borsa, André Barreto외 6명|arXiv (Cornell University)|2018. 12. 18.

Reinforcement Learning in Robotics참고 문헌 26인용 수 24

한 줄 요약

이 논문은 강화학습에서 볼 수 없는 작업으로의 제로샷 일반화를 가능하게 하기 위해 보편적 가치 함수 근사기(UNFAs)와 상속 특징, 일반화 정책 개선(GPI)을 통합한 새로운 프레임워크인 보편적 후속 특징 근사기(USFAs)를 소개한다. 가치 함수, 환경 동역학, 정책 공간의 구조를 함께 활용하여, 복잡한 3D 내비게이션 환경에서 뛰어난 전이 학습과 즉각적인 정책 평가 성능을 달성한다.

ABSTRACT

The ability of a reinforcement learning (RL) agent to learn about many reward functions at the same time has many potential benefits, such as the decomposition of complex tasks into simpler ones, the exchange of information between tasks, and the reuse of skills. We focus on one aspect in particular, namely the ability to generalise to unseen tasks. Parametric generalisation relies on the interpolation power of a function approximator that is given the task description as input; one of its most common form are universal value function approximators (UVFAs). Another way to generalise to new tasks is to exploit structure in the RL problem itself. Generalised policy improvement (GPI) combines solutions of previous tasks into a policy for the unseen task; this relies on instantaneous policy evaluation of old policies under the new reward function, which is made possible through successor features (SFs). Our proposed universal successor features approximators (USFAs) combine the advantages of all of these, namely the scalability of UVFAs, the instant inference of SFs, and the strong generalisation of GPI. We discuss the challenges involved in training a USFA, its generalisation properties and demonstrate its practical benefits and transfer abilities on a large-scale domain in which the agent has to navigate in a first-person perspective three-dimensional environment.

연구 동기 및 목표

• 가치 함수, 환경 동역학, 정책 공간의 구조적 인도적 편향을 통합하여 다중 작업 강화학습에서 제로샷 일반화의 과제를 해결하는 것.
• UVFAs(가치 함수 공간에서의 매개변수화 일반화)와 SF & GPI(동적 프로그래밍을 통한 일반화)의 기존 방법의 한계를 극복하기 위해 이들을 하나의 확장 가능한 아키텍처로 통합하는 것.
• 정책과 작업 표현을 분리함으로써 많은 수의 작업 간 효율적인 전이 학습을 가능하게 하면서도, GPI를 통한 즉각적인 정책 평가를 유지하는 것.
• 시각적 관측이 있는 대규모 1인칭 3D 내비게이션 도메인에서 USFAs의 실용적 이점을 입증하는 것.

제안 방법

• 후속 특징가 작업 기술자에 따라 조건화될 수 있도록 확장된 UVFAs의 일반화로 보편적 후속 특징 근사기(USFAs)를 제안하여 다차원 가치 함수 근사가 가능하도록 하는 것.
• 상태-행동-다음 상태 전이와 작업 기술자를 입력으로 받아 후속 특징을 출력하는 신경망을 사용하여, 작업 간 매개변수화 일반화를 가능하게 하는 것.
• 다양한 정책의 USFA로 추정된 후속 특징을 사용하여 일반화 정책 개선(GPI)을 적용함으로써, 새로운 보상 함수에 대해 즉각적인 정책 추론이 가능하도록 하는 것.
• 정책과 작업 표현을 분리하여 정책과 후속 특징의 독립적 훈련을 가능하게 하여 샘플 효율성과 일반화 성능을 향상시키는 것.
• 시간 차분 학습과 후속 특징 목표에 대한 지도 학습을 조합하여 USFA를 훈련시키며, 작업 간 공유된 특징 표현을 사용하는 것.
• 후속 특징가 보상 함수에 대해 선형임을 활용하여, 재학습 없이도 새로운 보상에 대해 빠른 정책 평가가 가능하도록 하는 것.

실험 결과

연구 질문

• RQ1 한 개의 함수 근사기가 UVFAs(가치 함수 공간에서의 매개변수화 일반화)와 SF & GPI(환경 구조와 동적 프로그래밍을 통한 일반화)의 장점을 통합하여 제로샷 전이를 가능하게 할 수 있는가?
• RQ2 USFAs에서 정책과 작업 표현을 분리하는 것이 고차원적이고 시각적인 3D 환경에서 일반화 성능와 훈련 안정성에 어떤 영향을 미치는가?
• RQ3 한 가지 방법만으로도 열악한 성능을 보이는 상황—예를 들어 많은 정책이 필요하거나, 오직 몇몇 정책만 잘 일반화되는 경우—에서 USFAs가 UVFAs와 SF & GPI를 얼마나 뛰어나게 초월할 수 있는가?
• RQ4 USFAs를 통해 볼 수 없는 작업에서 효과적인 일반화를 가능하게 하는 주요 아키텍처 및 훈련 선택은 무엇이며, 이는 대규모 도메인에 어떻게 스케일링되는가?

주요 결과

• USFAs는 UVFAs와 SF & GPI를 특수 케이스로 복원할 수 있으며, 이는 두 프레임워크를 엄밀히 일반화함을 보여준다.
• 많은 최적의 정책이 존재하는 환경에서는 USFAs가 UVFA 스타일의 함수 근사에 기반한 매개변수화 일반화를 활용함으로써 순수한 SF & GPI보다 뛰어난 성능을 보인다.
• 단지 몇몇 정책만 잘 일반화되는 설정에서는 USFAs가 SF & GPI의 강력한 제로샷 성능을 성공적으로 복원하여, 다양한 상황에서의 유연성을 입증한다.
• USFAs의 분리된 훈련 체제는 특히 후속 특징 근사가 완벽하지 않은 영역에서 표준 UVFAs보다 더 나은 일반화 성능을 제공한다.
• USFAs는 재학습 없이도 사전 훈련된 후속 특징만으로 새로운 보상 함수에 대한 즉각적인 정책 평가를 가능하게 하여, 재학습 대비 인퍼런스 시간을 크게 단축시킨다.
• 대규모 3D 내비게이션 환경에서의 실험 결과는 USFAs가 강력한 전이 성능와 확장성을 달성하며, 복잡한 시각 기반 강화학습 환경에서의 실용적 유용성을 검증함을 보여준다.