[논문 리뷰] Multi-task learning with deep model based reinforcement learning

Asier Mujika|arXiv (Cornell University)|2016. 11. 04.

Reinforcement Learning in Robotics참고 문헌 9인용 수 6

한 줄 요약

이 논문은 예측 강화학습(Predictive Reinforcement Learning, PRL)을 제안한다. PRL은 관찰과 행동에서 향후 보상 변화를 예측함으로써 동시에 여러 아케이드 게임을 학습하는 모델기반 딥강화학습 방법이다. 가치기반 방법과 달리 PRL는 세계 모델링과 정책 학습을 분리함으로써 다중 작업 성능을 향상시킨다. 이는 브레이크아웃, 핑퐁, 디모닉 어택에서 인간 성능을 동시에 초월하며, 무작위 플레이 시범 데이터로부터도 뛰어난 일반화 능력을 보인다.

ABSTRACT

In recent years, model-free methods that use deep learning have achieved great success in many different reinforcement learning environments. Most successful approaches focus on solving a single task, while multi-task reinforcement learning remains an open problem. In this paper, we present a model based approach to deep reinforcement learning which we use to solve different tasks simultaneously. We show that our approach not only does not degrade but actually benefits from learning multiple tasks. For our model, we also present a new kind of recurrent neural network inspired by residual networks that decouples memory from computation allowing to model complex environments that do not require lots of memory.

연구 동기 및 목표

• 다중 작업 강화학습에서 모델프리 딥Q러닝 학습의 한계를 해결하기 위해, 작업 수가 증가함에 따라 성능이 떨어지는 문제를 해결한다.
• 환경 역학의 예측 표현을 보상 신호를 감독 신호로 사용하여 학습하는 모델기반 접근법을 개발한다.
• 성능 저하 없이 동시에 여러 작업을 학습할 수 있도록 하며, 다중 작업 환경에서의 전이학습 이점을 탐색한다.
• 메모리와 계산을 명시적으로 분리함으로써 복잡한 환경을 효율적으로 모델링할 수 있는 새로운 순환신경망 아키텍처를 설계한다.

제안 방법

• 이 방법은 현재 관찰과 향후 행동 시퀀스를 입력으로 받아 k단계 동안의 누적 향후 보상을 예측하는 예측 모델을 사용한다.
• 예측된 보상 변화와 실제 보상 변화 간의 교차 엔트로피 손실을 사용하여 완전히 지도 학습 방식으로 모델을 훈련시킨다.
• 기존의 잔차 기반 순환신경망 아키텍처를 도입하여, 학습 안정성과 효율성을 향상시키기 위해 메모리와 계산을 명시적으로 분리한다.
• 다양한 정책(무작위 플레이 포함)을 사용하여 여러 게임에서 동시에 데이터를 생성하고, 최근 데이터를 우선시하는 가중 샘플링을 통해 반복적으로 모델을 미세조정한다.
• 환경 이해와 정책 실행을 분리함으로써, 훈련 데이터에서 관찰되지 않은 전략으로도 일반화할 수 있도록 한다.
• 모델 훈련과 데이터 생성을 시뮬레이션을 통해 여러 게임을 동시에 실행함으로써 가속화한다.

실험 결과

연구 질문

• RQ1 모델기반 딥강화학습 접근법이 다중 작업 학습 시나리오에서 모델프리 방법을 능가할 수 있는가?
• RQ2 동시 다중 작업 학습이 성능 저하를 초래하는가, 아니면 전이학습 이점을 가져올 수 있는가?
• RQ3 다양한 행동 패턴에서 학습된 예측 모델이 최적 행동에 대한 직접 지도 없이도 고성능 정책으로 일반화할 수 있는가?
• RQ4 메모리와 계산을 분리하는 잔차 기반 순환신경망 아키텍처가 복잡하고 장기적인 제어 과제에서 얼마나 효과적인가?

주요 결과

• 다중 작업 PRL 에이전트는 브레이크아웃, 핑퐁, 디모닉 어택 세 게임에서 동시에 인간 성능을 초월했으며, 브레이크아웃의 경우 개별 학습보다 뚜렷한 향상이 있었다.
• 핑퐁과 디모닉 어택에서의 성능는 단일 작업 학습과 비교해도 안정되거나 향상되어, 다중 작업 학습으로 인한 성능 저하가 없음을 시사한다.
• 무작위 플레이 데이터로 단 한 번의 훈련 반복 후 PRL 모델은 디모닉 어택에서 1220점의 점수를 기록했으며, 이는 무작위 플레이(152점)보다 7배 이상 뛰어나, 뛰어난 일반화 능력을 보였다.
• 훈련 중에 관찰되지 않은 전략으로도 효과적으로 일반화되었으며, 이는 순수하게 무작위 시범 데이터에서 고성능 정책을 학습할 수 있음을 보여준다.
• 희귀 사건(예: 게임 오버)에서의 기억 상실로 인해 훈련 과정에서 불안정성이 나타났으며, 특히 에이전트가 드물게 사망할 경우 점수의 진동 현상이 관찰되었다.