[논문 리뷰] Distilling Policy Distillation

Wojciech Marian Czarnecki, Razvan Pascanu외 4명|arXiv (Cornell University)|2019. 02. 06.

Reinforcement Learning in Robotics참고 문헌 33인용 수 39

한 줄 요약

이 논문은 강화 학습에서 정책 증류의 현황을 조사하고, on-policy 학생 주도 distillation가 수렴하는 시점을 분석하며, best-practice인 기대 엔트로피 정규화 distillation을 제안하고, 교사 비평가를 활용하는 방법을 제시한다.

ABSTRACT

The transfer of knowledge from one policy to another is an important tool in Deep Reinforcement Learning. This process, referred to as distillation, has been used to great success, for example, by enhancing the optimisation of agents, leading to stronger performance faster, on harder domains [26, 32, 5, 8]. Despite the widespread use and conceptual simplicity of distillation, many different formulations are used in practice, and the subtle variations between them can often drastically change the performance and the resulting objective that is being optimised. In this work, we rigorously explore the entire landscape of policy distillation, comparing the motivations and strengths of each variant through theoretical and empirical analysis. Our results point to three distillation techniques, that are preferred depending on specifics of the task. Specifically a newly proposed expected entropy regularised distillation allows for quicker learning in a wide range of situations, while still guaranteeing convergence.

연구 동기 및 목표

• RL에서 사용된 정책 증류 형식의 스펙트럼과 그 동기를 명확히 한다.
• on-policy, student-driven distillation이 언제 수렴하고 언제 진동하거나 실패할 수 있는지 특징지운다.
• Actor-critic 설정과 교사 가치 함수가 증류에 어떻게 도움을 줄 수 있는지 조사한다.
• 강건한 증류 변형과 방법 선택에 대한 실용적 결정 가이드를 제시한다.
• 수천 개의 무작위 MDP에서 증류 접근법을 실험적으로 비교하여 모범 사례를 도출한다.

제안 방법

• 증류 변형(teacher distill, on-policy distill, on-policy distill+R, entropy regularised, N-distill, exp. entropy regularised, Teacher V reward) 을 이론적 및 실험적으로 체계적으로 비교한다.
• on-policy distillation이 학생의 궤적으로부터의 경로를 이용할 때 일반적으로 gradient vector field를 형성하지 못하고 보상이 있을 때 진동할 수 있으며, 이를 통해 gradient-field 특성을 회복하는 방법을 보인다.
• 기대 엔트로피 정규화 distillation을 gradient-friendly하고 저분산이며 충실한 복제 방법으로 도입 및 검증한다.
• 교사의 가치 함수가 가용한 actor-critic 시나리오를 탐구하고, V가 학습을 개선하거나 부트스트랩하는 데 있어 게이팅 효과를 보여준다.
• 수천 개의 무작위 MDP를 사용하여 제어-정책 선택(교사 주도, 학생 주도, 균등)과 업데이트 규칙을 비교하고 실용적 가이드를 제시한다.

실험 결과

연구 질문

• RQ1 온-policy, student-driven distillation이 어떤 조건에서 수렴하거나 진동하는가?
• RQ2 보상이 있을 때 distillation에 대해 gradient-vector-field 일관 업데이트를 달성할 수 있는가?
• RQ3 교사 가치 함수를 어떻게 도입하여 actor-critic 설정의 증류를 개선할 수 있는가?
• RQ4 다양한 MDP에 걸쳐 안정적 수렴과 빠른 학습을 제공하는 어떤 distillation 변형이 있는가?
• RQ5 작업 특성에 따라 distillation 방법을 선택하기 위한 실용적 지침은 무엇인가?

주요 결과

• 학생이 생성한 궤적을 사용하는 온-policy distillation은 일반적으로 gradient vector field를 형성하지 못하고 보상이 있을 때 수렴하지 못할 수 있으며, 경사-일관성 보정이 가능하다.
• 학생 주도 distillation은 학생과 관련된 상태 분포에서 교사 행동의 더 빠르고 넓은 복제를 이끌어 내며, 실험적으로 교사 주도 distillation보다 우수하다.
• 제안된 기대 엔트로피 정규화 distillation은 가장 신뢰할 수 있는 변형으로, 그래디언트-field의 타당성, 저분산 및 궤적 수준 복제의 효과를 모두 갖춘다.
• 교사의 비평가를 사용해 학습을 게이팅하거나 부트스트랩하는 것은 교사가 완전하지 않거나 노이즈가 있는 경우 성능을 회복하거나 개선할 수 있다.
• actor-critic 설정에서 교사 가치 함수를 활용하면 특정 조건에서 학생의 성능이 교사보다 좋도록 보장할 수 있으며, 교사 비평가의 내재적 보상이 학습 역학을 형성한다.