[논문 리뷰] Context-Aware Policy Reuse

Siyuan Li, Fangda Gu외 2명|arXiv (Cornell University)|2018. 06. 11.

Reinforcement Learning in Robotics참고 문헌 38인용 수 9

한 줄 요약

이 논문은 상태에 따라 유연하게 소스 정책을 선택하고 재사용하는 모델-프리, 다중 정책 전이 학습 방법인 Context-Aware Policy Reuse (CAPS)를 제안한다. CAPS는 재사용 시점과 종료 시점을 최적화하여 동적으로 소스 정책을 재사용하며, 그리드월드 및 파이게임 환경에서 최신 기법들보다 빠른 수렴 속도와 뛰어난 성능을 달성한다. 이는 최적성과 수렴성에 대한 이론적 보장이 있다.

ABSTRACT

Transfer learning can greatly speed up reinforcement learning for a new task by leveraging policies of relevant tasks. Existing works of policy reuse either focus on only selecting a single best source policy for transfer without considering contexts, or cannot guarantee to learn an optimal policy for a target task. To improve transfer efficiency and guarantee optimality, we develop a novel policy reuse method, called Context-Aware Policy reuSe (CAPS), that enables multi-policy transfer. Our method learns when and which source policy is best for reuse, as well as when to terminate its reuse. CAPS provides theoretical guarantees in convergence and optimality for both source policy selection and target task learning. Empirical results on a grid-based navigation domain and the Pygame Learning Environment demonstrate that CAPS significantly outperforms other state-of-the-art policy reuse methods.

연구 동기 및 목표

• 강화학습의 전이 학습에서 단일 정책 재사용의 비효율성을 해결하기 위해.
• 목표 작업에서 다수의 소스 정책을 동적으로 맥락 기반으로 선택하여 재사용할 수 있도록 하기 위해.
• 소스 정책 선택과 목표 정책 학습에 대해 이론적 수렴성 및 최적성 보장을 제공하기 위해.
• 호출-반환 실행 모델을 통해 시간적으로 연장된 정책 재사용을 지원하기 위해.
• 환경 모델이나 소스 정책 표현에 대한 사전 지식 없이도 전이 효율을 향상시키기 위해.

제안 방법

• CAPS는 현재 상태 맥락에 기반해 어느 소스 정책을 재사용할지 결정하는 소스 선택 정책을 학습한다.
• 각 소스 정책에 대해 재사용을 종료할 시점을 제어하는 종료 함수를 동시에 학습한다.
• 시간적으로 연장된 정책 재사용을 지원하기 위해 호출-반환 실행 모델을 활용한다.
• 완전성을 확보하고 소스 정책이 충분하지 않을 경우의 탐색을 가능하게 하기 위해 액션 공간에 기본 정책을 보완한다.
• 공유된 경험을 통해 다수의 소스 정책에 동시에 Q-값 업데이트를 수행함으로써 샘플 효율성을 향상시킨다.
• 모델 프리이며 소스 정책 표현에 관계없이 적용 가능하므로 전이 함수나 목표 구조에 대한 가정이 필요 없다.

실험 결과

연구 질문

• RQ1 다중 정책 재사용 방법이 맥락 상태에 기반해 가장 적절한 소스 정책을 동적으로 선택할 수 있는가? 이는 전이 효율을 향상시키는가?
• RQ2 최적의 재사용 시점과 종료 함수를 학습함으로써 목표 작업에서 더 빠른 수렴과 향상된 성능를 달성하는가?
• RQ3 환경 모델에 대한 사전 지식 없이도 CAPS가 정책 학습에서 이론적 최적성 보장을 달성할 수 있는가?
• RQ4 여러 소스 정책이 부분적으로 유용할 경우, CAPS는 단일 정책 재사용 및 다른 최신 기법들보다 어떻게 성능을 내는가?
• RQ5 단 하나의 소스 정책만 유용할 경우, 단일 정책 기반 방법 대비 CAPS는 성능 유지 정도가 어느 정도인가?

주요 결과

• CAPS는 그리드 기반 탐색 및 파이게임 러닝 환경 모두에서 최신 기술보다 뚜렷이 뛰어난 성능을 보이며, 특히 여러 소스 정책이 유용한 경우에 두각을 나타낸다.
• 여러 소스 정책이 유용한 상황에서 CAPS는 PRQL, OPS-TL 및 기타 기준 기법들보다 더 빠른 학습 속도와 향상된 최종 성능를 달성한다.
• 단 하나의 소스 정책만 유용한 경우, CAPS는 단일 정책 재사용 기법과 동등하거나 이를 초월하는 성능을 보이며, 뛰어난 내성성을 입증한다.
• CAPS는 시간적으로 연장된 재사용을 통해 최적의 소스 선택 정책을 학습함으로써 기본 동작의 필요성을 줄이고 수렴 속도를 가속화한다.
• 소스 정책이 최적적이지 않거나 품질이 다양하더라도, Q-학습과 유사하게 이론적 수렴성 및 최적성 보장을 유지한다.
• 실험 결과에 따르면, CAPS에서 중요한 옵션을 선택할 확률이 많은 상태에서 최적의 기본 동작을 선택할 확률보다 높아 학습 속도가 향상된다.