[논문 리뷰] Policy Distillation

Andrei A. Rusu, Sergio Gómez Colmenarejo외 7명|arXiv (Cornell University)|2015. 11. 19.

Neural Networks and Reservoir Computing인용 수 87

한 줄 요약

이 논문은 딥 Q네트워크(DQN)에서 더 작은, 더 효율적인 학생 네트워크로 정책을 전이하는 정책 분산 기법을 소개한다. 성능 저하 없이 구현되며, 모델 압축, 다중 작업 정책 통합, 온라인 분산을 가능하게 하여 아타리 환경에서 단일 작업 교사 및 공동 학습된 DQN 에이전트보다 뛰어난 성능을 달성한다.

ABSTRACT

Policies for complex visual tasks have been successfully learned with deep reinforcement learning, using an approach called deep Q-networks (DQN), but relatively large (task-specific) networks and extensive training are needed to achieve good performance. In this work, we present a novel method called policy distillation that can be used to extract the policy of a reinforcement learning agent and train a new network that performs at the expert level while being dramatically smaller and more efficient. Furthermore, the same method can be used to consolidate multiple task-specific policies into a single policy. We demonstrate these claims using the Atari domain and show that the multi-task distilled agent outperforms the single-task teachers as well as a jointly-trained DQN agent.

연구 동기 및 목표

• DQN를 통해 훈련된 강화학습 에이전트의 높은 계산 비용과 큰 모델 크기 문제를 해결하기 위해.
• 소프트 레이블을 사용하여 사전 훈련된 DQN 교사의 행동가치 출력 분포를 모방하도록 학생 네트워크를 훈련시켜 지식 전이를 가능하게 하기 위해.
• 여러 개의 단일 작업 DQN 정책을 하나의 다중 작업 정책으로 통합하여 개별 교사보다 더 나은 일반화 성능을 달성하기 위해.
• 학습 도중 가장 성능이 좋은 정책을 지속적으로 추적함으로써 DQN 학습을 안정화시키는 온라인 분산을 탐색하기 위해.

제안 방법

• 사전 훈련된 DQN 교사의 행동가치 출력 분포를 소프트 레이블을 사용해 모방하도록 학생 네트워크를 훈련시킨다.
• 온도 조정된 소프트맥스를 사용하여 행동가치 분포를 부드럽게 하여 더 나은 지식 전이를 가능하게 한다.
• 행동 갭에 따라 행동 분류를 가중치를 두는 지식 분산 손실을 적용하며, CAPI 프레임워크와 유사하다.
• 교사 정책이 생성한 트레이젝터리에 기반한 지도 회귀를 사용하여 학생 네트워크를 훈련시킨다.
• 학습 도중 현재 가장 성능이 좋은 DQN 정책을 주기적으로 업데이트하여 온라인 분산을 구현한다.
• 공유된 컨볼루션 특징과 작업별 고유 헤드를 갖춘 다중 제어자 아키텍처를 사용하여 다중 게임 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 정책 분산은 성능 저하 없이 DQN 정책을 더 작은 효율적인 모델로 압축하는 데 효과적인가?
• RQ2 여러 개의 단일 작업 DQN 정책을 하나의 다중 작업 정책으로 분산시킬 수 있으며, 이는 개별 교사보다 더 나은 일반화 성능을 달성하는가?
• RQ3 실시간으로 가장 성능이 좋은 정책을 추적함으로써 온라인 분산이 DQN 학습을 안정화시키는가?
• RQ4 학습 도중 교사 정책이 크게 변화할 경우 분산 성능는 어떻게 되는가?
• RQ5 비확률적, 실수값 행동가치 설정에서 강화학습을 위한 분산에 가장 적합한 손실 함수 설계는 무엇인가?

주요 결과

• 정책 분산은 단일 게임 아타리 작업에서 DQN 모델 크기를 최대 15배까지 압축하면서도 성능 저하 없이 구현된다.
• 압축된 다중 작업 에이전트는 10개의 단일 작업 DQN 교사의 기하 평균 성능의 89.3%를 달성했으며, Q*bert와 Seaquest와 같은 몇몇 게임에서 교사들을 초월했다.
• 세 개의 게임으로 구성된 다중 작업 설정에서, 압축된 에이전트(Multi-Dist-KL)는 단일 작업 DQN 교사의 성능의 116.9%를 달성했으며, 공동 학습된 다중 작업 DQN 에이전트(83.5%)보다 뚜렷이 뛰어났다.
• 온라인 분산은 학습 분산이 크게 감소한 학생 에이전트를 생성하여 DQN 교사의 성능을 도달하거나 초월했다.
• 행동 갭에 따라 가중치를 두는 소프트맥스 손실(즉, CAPI와 유사)이 가장 우수한 성능을 보였으며, 이는 강화학습 분산에서 손실 설계의 중요성을 입증한다.
• 반복적 상호작용이나 데이터 분포 제어 없이도 강화학습에서의 분산이 효과적임을 확인하여, 일반화 정규화 기법으로서의 역할을 입증한다.