[논문 리뷰] Multitask Soft Option Learning

Maximilian Igl, Andrew Gambardella외 5명|arXiv (Cornell University)|2019. 04. 01.

Reservoir Engineering and Simulation Methods참고 문헌 61인용 수 7

한 줄 요약

멀티태스크 소프트 옵션 학습(MSOL)은 공유된 사전분포를 통해 정규화된 작업별 변동형 사후분포를 사용하는 계층적 강화학습 프레임워크를 도입하여 안정적인 멀티태스크 학습과 효율적인 전이 학습을 가능하게 한다. 옵션의 기억 상실 없이도 민첩한 적응이 가능하며, 자연스럽게 종료 정책을 학습하고 국소 최적점에서 벗어나는 데 성공한다. 이는 계층적 및 평탄한 기준 모델보다 우수한 성능을 보인다.

ABSTRACT

We present Multitask Soft Option Learning(MSOL), a hierarchical multitask framework based on Planning as Inference. MSOL extends the concept of options, using separate variational posteriors for each task, regularized by a shared prior. This ''soft'' version of options avoids several instabilities during training in a multitask setting, and provides a natural way to learn both intra-option policies and their terminations. Furthermore, it allows fine-tuning of options for new tasks without forgetting their learned policies, leading to faster training without reducing the expressiveness of the hierarchical policy. We demonstrate empirically that MSOL significantly outperforms both hierarchical and flat transfer-learning baselines.

연구 동기 및 목표

• 옵션과 고수준 정책을 동시에 최적화할 때 발생하는 안정성 문제와 최적 성능 이하의 성능을 해결하기 위해.
• 완벽한 옵션 정렬이나 수동으로 하위목표를 지정할 필요 없이 새로운 작업으로의 효율적 전이를 가능하게 하기 위해.
• 모순되는 작업 목표로 인한 복잡한 스케줄링이나 국소 최적점 회피를 위한 안정적인 학습 체제를 제공하기 위해.
• 수동으로 지속 시간을 고정하지 않고도 자연스럽게 옵션 종료 정책을 학습하기 위해.
• 기존에 학습된 정책을 유지하면서도 새로운 작업에 대해 옵션을 정밀 조정할 수 있도록 하여 탐색과 수렴을 향상시키기 위해.

제안 방법

• MSOL은 각 옵션에 대해 공유된 사전분포와 작업별 사후분포를 구분하는 계획 수립 추론(PAI) 프레임워크를 사용하여 옵션을 정의한다.
• 이 방법은 변동형 추론을 통해 각 작업의 사후분포를 최적화하며, 사전분포와 사후분포 간의 KL 정규화 항을 사용해 작업 간 일관성을 유도한다.
• 이 소프트 옵션 프레임워크는 옵션 정책과 종료 정책의 학습을 고수준 정책에서 분리함으로써 각 작업에 대해 독립적으로 적응 가능하게 한다.
• 사전분포는 학습된 형태의 보조 보상 역할을 하여, 새로운 작업에서 이전에 효과적이었던 행동으로 탐색을 유도하지만 정확한 복제를 강요하지는 않는다.
• 종료 정책은 동일한 PAI 구성에 따라 종료에서부터 끝까지 끝내는 방식으로 학습되며, 수동으로 지정한 지속 시간이 필요로 하지 않는다.
• 공유된 사전분포를 통해 여러 작업 간에 공동으로 학습되며, 이는 기술의 전이 가능성과 다양성을 증진시킨다.

실험 결과

연구 질문

• RQ1 소프트 옵션 프레임워크는 멀티태스크 계층적 강화학습에서 학습 안정성과 최적화 수렴을 향상시킬 수 있는가?
• RQ2 사전분포와 사후분포를 분리함으로써 분포 외부 작업에서의 전이 성능에 어떤 영향을 미치는가?
• RQ3 수동으로 지속 시간을 지정하지 않더라도 소프트 옵션은 효과적인 종료 정책을 학습할 수 있는가?
• RQ4 소프트 옵션 접근법은 모순되는 작업 목표로 인한 국소 최적점 문제를 어느 정도 방지할 수 있는가?
• RQ5 작업별 사후분포와 공유된 사전분포를 사용하는 것과 하드 옵션 또는 평탄한 정책에 비해 샘플 효율성과 일반화 능력에서 어떤 차이가 있는가?

주요 결과

• MSOL은 특히 탐색이 어려운 큰 격자에서의 멀티태스크 학습에서 계층 기준 모델(예: 옵션 크리틱)과 평탄한 정책 모두를 뛰어넘는 성능을 보였다.
• 픽업/드롭오프 위치가 이동된 분포 외부 작업에서는 MSOL이 평탄한 정책보다 더 빠른 학습을 달성했고, 하드 옵션은 잘못된 사양으로 인해 완전히 실패했다.
• 작은 격자 탑승자 변형에서는 MSOL이 평탄한 정책과 유사한 성능을 보였지만, 더 큰 격자에서는 학습 속도가 크게 향상되어 복잡한 환경에서의 전이의 가치를 입증했다.
• 공유된 사전분포에서 사후분포를 정밀 조정함으로써 MSOL은 새로운 작업에 대해 효과적으로 적응하며, 이전에 학습한 기술을 기억하지 않으면서도 더 빠른 수렴을 달성했다.
• 소프트 옵션 프레임워크는 종료 정책을 종료에서부터 끝까지 종료 없이 끝내는 방식으로 성공적으로 학습했으며, 고정된 지속 시간이나 수동으로 지정한 하위목표가 필요로 하지 않았다.
• 사전분포와 사후분포 간의 KL 정규화는 옵션이 작업 간 일관성을 유지하면서도 작업별 적응을 가능하게 하여 최적화 안정성을 향상시키고 국소 최적점에서 벗어나게 했다.