[논문 리뷰] Transfer of Deep Reactive Policies for MDP Planning

Aniket Bajpai, Sankalp Garg외 1명|arXiv (Cornell University)|2018. 10. 26.

Optimization and Search Problems참고 문헌 16인용 수 13

한 줄 요약

이 논문은 RDDL로 표현된 도메인에서 MDP 계획을 위한 도메인 독립적 전이 학습 프레임워크인 ToRPIDo를 제안한다. 기호적 상태 구조, 전이 함수 및 그래프 컨볼루션 네트워크를 활용하여 인스턴스에 의존하지 않는 상태 임베딩을 학습함으로써, 거의 영점샷 정책 전이—새로운 인스턴스에서 오직 행동 디코더만 재학습하는 것—를 가능하게 하여, 초기 학습부터 시작하거나 최신 강화학습 전이 방법과 비교해 훨씬 빠른 학습 속도와 뛰어난 성능을 달성한다.

ABSTRACT

Domain-independent probabilistic planners input an MDP description in a factored representation language such as PPDDL or RDDL, and exploit the specifics of the representation for faster planning. Traditional algorithms operate on each problem instance independently, and good methods for transferring experience from policies of other instances of a domain to a new instance do not exist. Recently, researchers have begun exploring the use of deep reactive policies, trained via deep reinforcement learning (RL), for MDP planning domains. One advantage of deep reactive policies is that they are more amenable to transfer learning. In this paper, we present the first domain-independent transfer algorithm for MDP planning domains expressed in an RDDL representation. Our architecture exploits the symbolic state configuration and transition function of the domain (available via RDDL) to learn a shared embedding space for states and state-action pairs for all problem instances of a domain. We then learn an RL agent in the embedding space, making a near zero-shot transfer possible, i.e., without much training on the new instance, and without using the domain simulator at all. Experiments on three different benchmark domains underscore the value of our transfer algorithm. Compared against planning from scratch, and a state-of-the-art RL transfer algorithm, our transfer solution has significantly superior learning curves.

연구 동기 및 목표

• 도메인 독립적 확률적 계획에서 동일 도메인 내 문제 인스턴스 간 효과적인 정책 전이 부족 문제를 해결하기 위해.
• 동일 도메인 내 크기가 같은 MDP 인스턴스 간에 깊이 반응 정책을 신속하게 거의 영점샷으로 전이할 수 있도록 하기 위해.
• RDDL 내 기호적 구조(상태 변수, 연결성, 전이 함수)를 활용하여 상태 및 상태-행동 쌍에 대한 공유되고 인스턴스에 의존하지 않는 표현을 학습하기 위해.
• RDDL 모델에 기반한 모델 기반 구성 요소(전이 모델, 인스턴스 분류기)를 사용해 전이 중 환경 롤아웃 의존도를 줄이기 위해.
• 초기 학습부터 시작하거나 최신 강화학습 전이 알고리즘보다 학습 효율성과 최종 성능에서 뛰어나도록 하기 위해.

제안 방법

• RDDL에 정의된 상태 연결성 구조를 기반으로 기호적 상태를 공유되고 인스턴스에 의존하지 않는 임베딩으로 인코딩하기 위해 그래프 컨볼루션 네트워크(GCN)를 사용한다.
• 공유된 임베딩 공간에서 A3C를 사용해 깊이 강화학습 에이전트를 학습시켜 문제 인스턴스 간 전이 가능한 정책을 학습한다.
• 인스턴스에 의존하지 않는 상태-행동 임베딩을 인스턴스별 기저 행동으로 매핑하는 행동 디코더를 도입하여, 메인 정책 재학습 없이도 전이가 가능하게 한다.
• RDDL 전이 함수를 활용해 임베딩 공간에서 인스턴스에 의존하지 않는 전이 모델을 학습시켜 행동 디코더 학습을 가속화한다.
• 임베딩 공간이 인스턴스 식별자에 대해 불변이 되도록 유도하기 위해 적대적으로 훈련된 인스턴스 분류기를 사용한다. 이는 일반화 성능 향상에 기여한다.
• 정책, 상태 인코더, 전이 모델, 인스턴스 분류기를 직접 새로운 인스턴스로 전이하고, 오직 행동 디코더만 재학습시켜 전이를 수행한다.

실험 결과

연구 질문

• RQ1 동일 도메인 내 문제 인스턴스 간 효과적인 정책 전이를 가능하게 하는 도메인 독립적 전이 알고리즘을 RDDL 기반 MDP 계획에 대해 설계할 수 있는가?
• RQ2 RDDL 내 기호적 구조(상태 연결성, 전이 함수)를 얼마나 효과적으로 활용해 상태 및 상태-행동 쌍에 대한 공유되고 인스턴스에 의존하지 않는 표현을 학습할 수 있는가?
• RQ3 오직 행동 디코더만 재학습하는 거의 영점샷 전이 방식이 전면 재학습 또는 기존 전이 방법과 비교해 얼마나 효과적인가?
• RQ4 각 아키텍처 구성 요소(GCN, 행동 디코더, 전이 모델, 인스턴스 분류기)가 전체 전이 성능에 기여하는 정도는 어떠한가?
• RQ5 제안된 방법이 초기 학습부터 시작하거나 최신 강화학습 전이 알고리즘보다 훨씬 빠른 학습 곡선과 높은 최종 성능를 달성할 수 있는가?

주요 결과

• ToRPIDo는 초기 학습부터 시작하거나 최신 강화학습 전이 방법(A2T)과 비교해 뚜렷이 뛰어난 학습 곡선을 보이며, 모든 학습 단계에서 더 높은 보상을 달성한다.
• 모델은 강력한 거의 영점샷 전이 성능를 보이며, 초기화 단계(α(0))에서 평균적으로 α ≈ 0.5를 기록함으로써, 학습을 높은 성능 수준에서 시작함을 시사한다. 반면 기준 모델들은 α ≈ 0에서 시작한다.
• 제거 실험 결과, GCN 기반 상태 인코더만으로도 기존 A3C보다 성능 향상을 보이나, 빠른 거의 영점샷 전이를 위해서는 행동 디코더와 전이 모델이 핵심적이다.
• 인스턴스 분류기는 초기 학습 단계에서 뚜렷한 성능 향상을 제공하지만, 점차 기여도가 감소하며, 최종 성능는 A3C+GCN+SAD 변형과 비교해 다소 높을 뿐이다.
• IPPB 경쟁의 세 가지 벤치마크 도메인 전반에서 ToRPIDo는 일관되게 기준 모델들을 능가하며, 특히 초기 학습 단계에서 가장 큰 성능 격차를 보였다.
• 이 방법은 전이 중 시뮬레이터 호출 없이도 효과적인 전이를 가능하게 하며, 오직 RDDL 모델과 사전 학습된 구성 요소에 의존한다.