[논문 리뷰] Lifelong Policy Gradient Learning of Factored Policies for Faster Training Without Forgetting

Jorge A. Mendez, Boyu Wang외 1명|arXiv (Cornell University)|2020. 01. 01.

Domain Adaptation and Few-Shot Learning인용 수 3

한 줄 요약

이 논문은 직접 정책 그래디언트 최적화를 통해 요소 정책을 훈련하는 종신 정책 그래디언트 방법을 제안하며, 다양한 제어 환경에서 임의의 작업 간 지속적인 지식 전이를 가능하게 한다. 공유 표현과 지속적 학습을 활용함으로써 훈련 속도를 가속화하고, 다양한 제어 환경에서 치명적인 잊음 현상을 제거한다.

ABSTRACT

Policy gradient methods have shown success in learning control policies for high-dimensional dynamical systems. Their biggest downside is the amount of exploration they require before yielding high-performing policies. In a lifelong learning setting, in which an agent is faced with multiple consecutive tasks over its lifetime, reusing information from previously seen tasks can substantially accelerate the learning of new tasks. We provide a novel method for lifelong policy gradient learning that trains lifelong function approximators directly via policy gradients, allowing the agent to benefit from accumulated knowledge throughout the entire training process. We show empirically that our algorithm learns faster and converges to better policies than single-task and lifelong learning baselines, and completely avoids catastrophic forgetting on a variety of challenging domains.

연구 동기 및 목표

• 순차적 작업 간 정책 그래디언트 강화 학습에서의 느린 수렴과 치명적인 잊음 현상을 해결하기 위해.
• 다양한 작업을 통해 정책 그래디언트를 직접 사용하여 함수 근사기의 훈련을 통해 종신 지식 전이를 가능하게 하기 위해.
• 새로운 작업을 학습하면서 이전 작업에서의 높은 성능을 유지하고 성능 붕괴를 방지하는 방법을 설계하기 위해.
• 단일 작업 및 종신 학습 기준선과 비교하여 수렴 속도 향상과 향상된 최종 성능를 실험적으로 검증하기 위해.

제안 방법

• 이 방법은 이전에 학습된 작업들로부터의 지식을 통합한 정책 그래디언트 업데이트를 사용하여 요소 정책을 훈련한다.
• 정책 네트워크가 공유 및 작업별 특화된 구성 요소를 사용하여 작업 간 점진적으로 업데이트되는 종신 학습 프레임워크를 적용한다.
• 정책을 표현하기 위해 함수 근사를 사용하고, 각 새로운 작업의 정책 그래디언트 신호를 통해 지속적으로 업데이트한다.
• 핵심 혁신은 종신 함수 근사기를 정책 그래디언트를 통해 직접 훈련하여 지속적 적응이 가능한 엔드 투 엔드 학습을 가능하게 한다.
• 파rameter 정규화와 경험 재생 메커니즘을 통해 이전 작업의 지식을 보존함으로써 치명적인 잊음 현상을 방지한다.

실험 결과

연구 질문

• RQ1 요소 정책을 사용한 종신 정책 그래디언트 학습은 새로운 작업에서의 훈련을 가속화하면서도 이전 작업의 성능를 유지할 수 있는가?
• RQ2 제안된 방법은 단일 작업 및 기존 종신 학습 기준선과 비교하여 수렴 속도와 최종 정책 품질 측면에서 어떻게 성능가능한가?
• RQ3 고차원 제어 작업에서 이 방법은 치명적인 잊음 현상을 어느 정도 방지하는가?
• RQ4 요소 정책 파arameter화가 종신 학습 효율성과 일반화에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 단일 작업 및 종신 학습 기준선과 비교하여 새로운 작업에서 더 빠른 수렴을 달성한다.
• 다양한 도전적인 제어 환경에서 최종 정책 성능 측면에서 기준선을 일관되게 능가한다.
• 이 방법은 치명적인 잊음 현상을 완전히 제거하여 이전에 학습된 작업에서 높은 성능를 유지한다.
• 실험 결과는 직접 정책 그래디언트 업데이트를 통한 지속적 지식 전이가 더 효율적인 종신 학습을 이끌 수 있음을 보여준다.