[논문 리뷰] Distillation Strategies for Proximal Policy Optimization

Sam Green, Craig M. Vineyard외 1명|arXiv (Cornell University)|2019. 01. 23.

Reinforcement Learning in Robotics참고 문헌 13인용 수 4

한 줄 요약

이 논문은 오프라인 롤아웃을 사용하여 고성능 교사 에이전트에서 저성능 학생 에이전트로 지식을 전이함으로써 Proximal Policy Optimization (PPO)를 위한 정규화 전략을 제안한다. 이 방법은 직접 훈련된 저성능 에이전트를 능가하는 학생 에이전트를 가능하게 하며, 보정 후에는 교사와 동등한 성능을 달성한다. 이는 정규화가 액터-크리틱 강화학습에서 샘플 효율성과 성능을 크게 향상시킨다는 것을 보여준다.

ABSTRACT

Vision-based deep reinforcement learning (RL) typically obtains performance benefit by using high capacity and relatively large convolutional neural networks (CNN). However, a large network leads to higher inference costs (power, latency, silicon area, MAC count). Many inference optimizations have been developed for CNNs. Some optimization techniques offer theoretical efficiency, such as sparsity, but designing actual hardware to support them is difficult. On the other hand, distillation is a simple general-purpose optimization technique which is broadly applicable for transferring knowledge from a trained, high capacity teacher network to an untrained, low capacity student network. DQN distillation extended the original distillation idea to transfer information stored in a high performance, high capacity teacher Q-function trained via the Deep Q-Learning (DQN) algorithm. Our work adapts the DQN distillation work to the actor-critic Proximal Policy Optimization algorithm. PPO is simple to implement and has much higher performance than the seminal DQN algorithm. We show that a distilled PPO student can attain far higher performance compared to a DQN teacher. We also show that a low capacity distilled student is generally able to outperform a low capacity agent that directly trains in the environment. Finally, we show that distillation, followed by "fine-tuning" in the environment, enables the distilled PPO student to achieve parity with teacher performance. In general, the lessons learned in this work should transfer to other modern actor-critic RL algorithms.

연구 동기 및 목표

• DQN에서의 지식 정규화를 더 발전된 액터-크리틱 알고리즘인 PPO로 확장하기 위해.
• 사전 훈련된 교사로부터 고품질 롤아웃을 활용하여 저성능 학생 에이전트의 효율적 훈련을 가능하게 하기 위해.
• 정규화된 학생이 동일한 성능을 가지는 직접 훈련된 에이전트를 능가할 수 있는지 조사하기 위해.
• 정규화 에포크 수와 보정의 영향을 학생의 성능에 평가하기 위해.
• 하드웨어 제약 조건 하에 효율적인 정책 공설계를 위한 정규화의 실현 가능성을 보여주기 위해.

제안 방법

• 고성능 PPO 에이전트(교사)를 환경에서 훈련한 후, 재생 버퍼에 상태 관측값과 행동 확률을 수집한다.
• 재생 버퍼는 상태-행동 쌍과 교사가 제공한 행동 확률을 저장하여 고품질의 오프라인 데이터셋을 형성한다.
• 학생 네트워크는 정규화 손실을 사용하여 훈련되며, 이는 학생이 최적의 행동 뿐 아니라 교사의 행동 확률을 따라하는 것을 목표로 한다.
• 오프라인 재생 버퍼를 사용하여 다수의 에포크 동안 정규화를 수행하여 학생 정책을 최적화한다.
• 정규화 이후, 학생은 표준 PPO 업데이트를 사용하여 환경에서 추가로 보정된다.
• 다양한 Atari 환경에서 정규화된 학생을 직접 훈련된 에이전트와 교사와 비교하기 위해 평가된다.

실험 결과

연구 질문

• RQ1 고성능 PPO 교사로부터의 지식 정규화가 저성능 학생 에이전트의 성능을 향상시킬 수 있는가?
• RQ2 정규화가 동일한 성능을 가지는 직접 훈련된 에이전트를 능가하는 데 기여하는가?
• RQ3 정규화 에포크 수가 학생의 최종 성능에 어떤 영향을 미치는가?
• RQ4 환경에서 정규화된 학생을 보정함으로써 성능이 추가로 향상되는가?
• RQ5 정규화가 하드웨어 제약 조건 하에서 효율적인 정책 공설계의 실용적 방법으로 사용될 수 있는가?

주요 결과

• 정규화된 학생들은 동일한 성능을 가지는 직접 훈련된 에이전트를 일관되게 능가하여 지식 전이의 효과를 입증한다.
• 미디엄 대 미디엄 및 로우 대 로우 비교에서, 정규화된 학생들은 직접 훈련된 에이전트와 동등하거나 그들을 초월하는 성능을 보였다.
• Pong과 Freeway와 같은 일부 환경에서는 10회의 정규화 에포크로 교사의 성능을 달성할 수 있었지만, Breakout와 Ms. Pac-Man와 같은 다른 환경은 수백 개의 에포크가 필요했다.
• 2000만 번의 시간 단위 동안 정규화된 학생을 보정함으로써 성능이 교사와 동등해졌으며, 특히 중간 성능 모델에서 두드러졌다.
• 정규화 곡선에서 관찰된 성능 정체 현상은 조기 정지가 필수적이지 않을 수 있음을 시사하지만, 이는 추가 연구가 필요하다.
• 결과는 정규화가 액터-크리틱 RL에서 추론 비용을 줄이면서도 정책 성능을 유지하거나 향상시키는 강력한 방법임을 시사한다.