[논문 리뷰] Progressive Reinforcement Learning with Distillation for Multi-Skilled Motion Control

Glen Berseth, Cheng Xie외 2명|arXiv (Cornell University)|2018. 02. 13.

Reinforcement Learning in Robotics참고 문헌 18인용 수 22

한 줄 요약

이 논문은 연속 제어 작업에서 다수의 운동 스킬을 점진적으로 학습하고 통합하기 위해 정수화와 전이 학습을 활용하는 프로그레시브 강화 학습 프레임워크인 PLAID를 제안한다. 정책 정수화와 입력 주입을 활용함으로써 기존 능력을 유지하면서도 효율적인 스킬 습득이 가능하며, 다양한 지형을 가로질러 이동하는 시뮬레이션 이량보 보행에서 베이스라인을 능가한다.

ABSTRACT

Deep reinforcement learning has demonstrated increasing capabilities for continuous control problems, including agents that can move with skill and agility through their environment. An open problem in this setting is that of developing good strategies for integrating or merging policies for multiple skills, where each individual skill is a specialist in a specific skill and its associated state distribution. We extend policy distillation methods to the continuous action setting and leverage this technique to combine expert policies, as evaluated in the domain of simulated bipedal locomotion across different classes of terrain. We also introduce an input injection method for augmenting an existing policy network to exploit new input features. Lastly, our method uses transfer learning to assist in the efficient acquisition of new skills. The combination of these methods allows a policy to be incrementally augmented with new skills. We compare our progressive learning and integration via distillation (PLAID) method against three alternative baselines.

연구 동기 및 목표

• 기존 정책에 새로운 운동 스킬을 학습하고 통합할 때 치명적인 잊음( catastrophic forgetting)을 방지하는 도전 과제를 해결한다.
• 기존에 학습된 스킬들에서 지식을 전이하여 연속 행동 공간에서 새로운 스킬의 학습을 가속화하는 방법을 개발한다.
• 입력 주입을 통해 새로운 스킬을 원활하게 통합함으로써, 전체 네트워크를 재학습하지 않고도 추가적인 감각 입력을 활용할 수 있도록 정책을 확장한다.
• 복잡한 연속 제어 과제—다양한 지형을 가로질러 이동하는 이량보 보행—에서 접근법을 평가하여 확장성과 효율성을 입증한다.
• 계층적 스킬 분해를 피하고 단일 딥 네트워크를 사용하여 여러 스킬을 통합하는 지속적 학습 프레임워크를 제공한다.

제안 방법

• 감독 학습을 사용하여 전문 정책의 행동 분포를 회귀함으로써 정책 정수화를 연속 행동 공간으로 확장한다.
• 다양한 전문 정책의 출력 분포를 평균 제곱오차 손실을 통해 일치시키는 단일 딥 신경망을 학생 정책으로 사용한다.
• 이미 존재하는 정책에 새로운 입력 특징(예: 지형 유형)을 주입함으로써 전체 네트워크를 재학습하지 않고도 확장한다.
• 이전에 학습된 정책들로부터 특징을 초기화하여 새로운 정책의 액터-크리틱 네트워크를 초기화함으로써 전이 학습을 적용한다.
• 정수화 과정에서 데이터 효율성과 정책 일반화를 향상시키기 위해 DAGGER 스타일의 학습을 사용한다.
• 새로운 스킬을 한 번에 하나씩 점진적으로 학습하고 통합하는 학습 스케줄을 적용하며, 지속적인 정수화를 통해 이전 스킬의 성능을 유지한다.

실험 결과

연구 질문

• RQ1 다양한 스킬 운동 제어에 대해 정책 정수화를 연속 행동 공간으로 효과적으로 확장할 수 있는가?
• RQ2 정수화를 통한 점진적 통합은 모든 스킬을 동시에나 순차적으로 학습하는 것과 비교해 어떻게 다른가?
• RQ3 이전 정책들로부터의 전이 학습이 새로운 운동 스킬 습득을 얼마나 가속화하는가?
• RQ4 입력 주입을 통해 정책이 추가적인 감각 입력(예: 지형 유형)을 사용하면서도 기존 스킬 성능이 떨어지지 않도록 할 수 있는가?
• RQ5 점진적 스킬 습득 과정에서 치명적인 잊음은 어떻게 완화되는가?

주요 결과

• PLAID 방법은 모든 스킬을 동시에나 순차적으로 학습하는 베이스라인을 능가하며, 다양한 지형에서의 보행 과제에서 더 높은 샘플 효율성과 성능을 보였다.
• 전이 학습은 특히 새로운 작업이 이전에 학습된 작업과 상태공간 영역이 겹칠 경우, 새로운 스킬 습득을 크게 가속화한다.
• 입력 주입은 새로운 입력 특징(예: 지형 유형)을 활용하면서도 기존 스킬 성능이 떨어지지 않도록 성공적으로 가능하게 했다.
• 정수화 과정에서 전문 정책의 성능이 점진적 통합 동안 모든 스킬에 대해 효과적으로 유지되었으며, 여러 개의 새로운 스킬이 추가된 후에도 마찬가지였다.
• 새로운 스킬 습득 과정에서도 이전에 학습된 스킬에 대해 안정적인 성능을 유지함으로써 치명적인 잊음의 효과적인 완화가 이루어졌음을 나타냈다.
• 연속 행동 공간에서 정수화에 평균 제곱오차를 사용하는 것이 효과적이었으며, 논문에서는 KL 발산 또는 가중 정수화를 사용할 경우 성능 향상이 더 가능할 수 있음을 언급한다.