[논문 리뷰] Universal Successor Representations for Transfer Reinforcement Learning

Chen Ma, Junfeng Wen외 1명|arXiv (Cornell University)|2018. 04. 11.

Reinforcement Learning in Robotics참고 문헌 8인용 수 18

한 줄 요약

이 논문은 동일한 동역학을 공유하지만 목적이 다른 강화학습 태스크에서 효율적인 전이 학습을 가능하게 하기 위해 일반 성공자 표현(USR)과 학습 가능한 USR 근사기(USRA)를 제안한다. 상태 전이와 목표의 공유 표현을 학습함으로써 USRA는 효과적인 초기화를 통해 새로운 목표로의 빠른 적응을 가능하게 하며, 학습 속도에서 무작위 초기화보다 뚜렷한 승리를 거두었다.

ABSTRACT

The objective of transfer reinforcement learning is to generalize from a set of previous tasks to unseen new tasks. In this work, we focus on the transfer scenario where the dynamics among tasks are the same, but their goals differ. Although general value function (Sutton et al., 2011) has been shown to be useful for knowledge transfer, learning a universal value function can be challenging in practice. To attack this, we propose (1) to use universal successor representations (USR) to represent the transferable knowledge and (2) a USR approximator (USRA) that can be trained by interacting with the environment. Our experiments show that USR can be effectively applied to new tasks, and the agent initialized by the trained USRA can achieve the goal considerably faster than random initialization.

연구 동기 및 목표

• 공유된 동역학을 가진 강화학습 태스크 간 지식 전이의 과제를 해결하기 위해.
• 실제로 효과적으로 학습하기 어려운 일반 가치 함수 근사기의 개선을 위해.
• 다중 태스크 전이를 위해 상태와 목표 양쪽에 일반화되는 일반 성공자 표현(USR)을 개발하기 위해.
• 환경과의 온폴리시 액터-크리틱 상호작용을 통해 학습 가능한 USR 근사기(USRA)를 설계하기 위해.
• USRA가 효과적인 초기화를 통해 새로운, 미리보지 않은 목표에서 더 빠른 학습을 가능하게 함을 입증하기 위해.

제안 방법

• 보상 함수를 $ r_g(s,a,s') = \mathbf{\phi}(s,a,s')^\top \mathbf{w}_g $ 로 인과분해하며, 여기서 $ \mathbf{\phi} $ 는 공유된 상태 특징이고 $ \mathbf{w}_g $ 는 목표별로 특화된 보상 특징이다.
• 일반 성공자 표현(USR)을 $ \mathbf{\psi}_g^\pi(s) = \mathbb{E}^\pi[\mathbf{\phi}(s,A,S') + \gamma_g(s)\mathbf{\psi}_g^\pi(S')] $ 로 정의하며, 이는 상태와 목표 양쪽에 일반화된다.
• USRA를 액터-크리틱 프레임워크를 사용해 학습하며, 네 가지 손실 성분인 $ L_w $, $ L_\psi $, $ J_\pi $, 및 $ L_{\text{recon}} $ 에 대한 기울기 업데이트를 수행한다. 이는 상태 특징 학습을 위해 사용된다.
• 깊은 신경망 아키텍처를 사용하며, $ \theta_\pi $, $ \theta_\psi $, $ \theta_w $, 및 $ \theta_\phi $ 가 특징 추출을 위해 초기 레이어를 공유하는 방식으로 공동 최적화된다.
• 엔드 투 엔드 학습 이전에 원시 관측값을 대상으로 오토인코더 사전학습을 통해 상태 특징 $ \mathbf{\phi}(s) $ 를 학습한다.
• 학습된 USRA를 정책 및 가치 함수의 초기화로 사용하여, 새로운, 사전에 보지 않은 목표에서의 학습 속도를 가속화한다.

실험 결과

연구 질문

• RQ1 공유된 동역학을 가진 태스크에서 일반 성공자 표현(USR)이 다양한 목표 간에 효과적으로 일반화될 수 있는가?
• RQ2 USR 근사기(USRA)가 환경과의 온폴리시 상호작용을 통해 성공적으로 학습될 수 있는가?
• RQ3 사전에 학습된 USRA를 초기화로 사용할 경우, 무작위 초기화보다 새로운, 사전에 보지 않은 목표에서 수렴 속도가 더 빠른가?
• RQ4 USR을 위한 강력한 일반화 및 빠른 전이 성능를 달성하기 위해 몇 개의 소스 목표가 필요한가?
• RQ5 USR 기반 초기화가 다중 태스크 강화학습 환경에서 표준 가치 함수 전이 방법보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• USRA 모델은 목표 간에 효과적으로 일반화되며, 새로운 목표에 대해 예측된 성능이 해당 목표로 직접 학습된 모델과 유사한 수준에 도달한다.
• 64개 목표 중 20개의 목표로 훈련했을 때, USRA는 40개의 목표로 훈련된 모델과 비교해 유사한 일반화 성능를 보였으며, 이는 전이에 대해 낮은 샘플 복잡도를 의미한다.
• 학습된 USRA로 초기화된 에이전트는 무작위 초기화보다 새로운 목표에서 더 빠르게 학습을 진행했으며, 특히 충분한 소스 목표 수가 있는 경우(예: k=20)에 성능 향상이 두드러졌다.
• 예측된 최적의 USR 값과 실제 값 간의 평균 제곱오차(MSE)가 낮았고, 새로운 목표에서의 정책 일반화를 위한 교차 엔트로피 손실 또한 낮았다.
• 소스 목표의 수가 과업의 동역학을 충분히 포괄할 수 있는 정도에 도달했을 때 USRA 초기화의 성능 향상이 가장 두드러졌으며, 일정 수 이상에서는 수익 감소 현상이 나타났다.
• 액터-크리틱 학습 절차는 USRA의 모든 구성 요소, 즉 $ \theta_\psi $, $ \theta_\pi $, $ \theta_w $, 및 $ \theta_\phi $ 를 통합된 프레임워크 내에서 성공적으로 최적화했다.