[논문 리뷰] Decoupling Dynamics and Reward for Transfer Learning

Amy Zhang, Harsh Satija외 1명|arXiv (Cornell University)|2018. 04. 27.

Reinforcement Learning in Robotics참고 문헌 32인용 수 37

한 줄 요약

이 논문은 상태 표현, 전방 역학, 역방향 역학, 보상 학습을 모듈러 컴포넌트로 분리하는 분리형 강화학습 프레임워크를 제안한다. 특히 안정성을 높이기 위해 역방향 역학을 보조 과제로 사용함으로써, 다양한 역학과 보상 함수를 가진 작업 간에 빠르고 강건한 전이를 가능하게 하며, 연속적이고 이산적인 환경 모두에서 일반화 및 계획 성능를 크게 향상시킨다.

ABSTRACT

Current reinforcement learning (RL) methods can successfully learn single tasks but often generalize poorly to modest perturbations in task domain or training procedure. In this work, we present a decoupled learning strategy for RL that creates a shared representation space where knowledge can be robustly transferred. We separate learning the task representation, the forward dynamics, the inverse dynamics and the reward function of the domain, and show that this decoupling improves performance within the task, transfers well to changes in dynamics and reward, and can be effectively used for online planning. Empirical results show good performance in both continuous and discrete RL domains.

연구 동기 및 목표

• 환경의 역학과 보상 함수에 대한 변화에 대한 표준 강화학습 방법의 낮은 일반화 성능를 해결한다.
• 역학, 보상, 상태 표현의 학습을 모듈러 컴포넌트로 분리함으로써 강화학습의 전이 학습 성능를 향상시킨다.
• 다른 역학 또는 보상 함수를 가진 새로운 작업에 빠르게 적응하기 위해 사전에 학습된 모듈의 효율적 재사용을 가능하게 한다.
• 보조 역방향 역학 모델링을 통해 표현 학습의 안정성을 높이고, 학습 수렴성과 강건성을 향상시킨다.
• 역학 모델에서 보상 함수를 분리함으로써 온정책 및 오프정책 정책 최적화를 모두 지원한다.

제안 방법

• 상태 공간 𝒮와 표현 공간 𝒁 사이를 매핑하기 위해 인코더 f_enc(s; θ_enc)와 디코더 f_dec(z; θ_dec)를 통한 표현 공간 𝒁를 도입한다.
• 인코더와 디코더를 이용한 감독 하에, 표현 공간 𝒁 내에서 다음 상태를 예측하는 전방 역학 모델 f_for(z, a; θ_for)를 학습한다.
• 상태 전이에서 행동을 예측하는 역방향 역학 모델 f_inv(z, z'; θ_inv)를 통합하여 인과성 유지 정규화 기법으로 기능한다.
• 정지 기울기 연산 (⊗)을 사용하여 역학 및 보상 모듈의 학습을 분리함으로써 독립적인 최적화를 가능하게 한다.
• 보상 함수를 별도의 모듈로 분리하여 오프정책 학습과 새로운 보상 함수로의 전이를 가능하게 한다.
• 정책 최적화 이전에 오프라인 사전 학습 단계에서 역학 및 보상 모듈을 학습함으로써 온정책 불안정성 문제를 방지한다.

실험 결과

연구 질문

• RQ1 역학과 보상 학습을 분리함으로써, 다양한 역학과 보상 함수를 가진 작업 간의 일반화 성능를 향상시킬 수 있는가?
• RQ2 역방향 역학 모델을 포함할 경우 전방 역학 모델의 안정성과 성능는 어떻게 영향을 받는가?
• RQ3 역학, 보상, 표현 모듈의 사전 학습을 통해 다운스트림 정책 학습 속도는 어느 정도 향상되는가?
• RQ4 분리된 아키텍처는 연속 제어 및 이산 계획 환경 모두에서 효과적인 전이를 지원하는가?
• RQ5 종합적 강화학습 대비 분리된 접근 방식은 강건성과 샘플 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 분리된 프레임워크는 특히 학습 안정성과 수렴 속도 측면에서 온라인, 온정책 학습보다 뚜렷이 뛰어나다.
• 역방향 역학 모델의 포함으로 전방 역학 학습이 안정화되어 학습 변동성 감소와 표현 품질 향상이 이루어진다.
• 오프라인 방식으로 역학 및 보상 모듈을 사전 학습함으로써 새로운 작업에서 정책 최적화가 더 빠르고 신뢰성 있게 이루어진다.
• 이 방법은 새로운 보상 함수와 변형된 역학으로의 효과적인 전이를 가능하게 하여, 작업 변형에 대한 강건한 일반화 성능를 입증한다.
• 이 방법은 연속 제어(MuJoCo) 및 이산 미로 계획 작업 모두에서 뛰어난 성능를 기록하여 광범위한 적용 가능성을 확인한다.
• 표준 A3C 정책 최적화 방법은 여러 작업에서 성능가 떨어지며, 이는 분리된 모듈러 학습 접근 방식의 이점을 강조한다.