[논문 리뷰] Compositional Planning Using Optimal Option Models

David Silver, Kamil Ciosek|arXiv (Cornell University)|2012. 06. 27.

Reinforcement Learning in Robotics참고 문헌 15인용 수 29

한 줄 요약

이 논문은 행동의 시간적 추상화인 최적 옵션 모델을 재귀적으로 조합하여 고수준 옵션을 만드는 구성적 계획 프레임워크를 소개한다. 일반화된 벨만 방정식을 사용하여, 하위목표를 위한 최적 옵션을 동시에 학습하고 이를 조합하여 광범위한 목표를 달성함으로써, 복잡한 환경에서 계획의 효율성과 확장성을 크게 향상시킨다.

ABSTRACT

In this paper we introduce a framework for option model composition. Option models are temporal abstractions that, like macro-operators in classical planning, jump directly from a start state to an end state. Prior work has focused on constructing option models from primitive actions, by intra-option model learning; or on using option models to construct a value function, by inter-option planning. We present a unified view of intra- and inter-option model learning, based on a major generalisation of the Bellman equation. Our fundamental operation is the recursive composition of option models into other option models. This key idea enables compositional planning over many levels of abstraction. We illustrate our framework using a dynamic programming algorithm that simultaneously constructs optimal option models for multiple subgoals, and also searches over those option models to provide rapid progress towards other subgoals.

연구 동기 및 목표

• 하나의 프레임워크 내에서 옵션의 내부 학습(기본 행동에서 옵션을 학습하는 것)과 옵션 간 계획(옵션을 사용하여 가치 함수를 구성하는 것)을 통합하기 위해.
• 옵션 모델을 재귀적으로 조합하여 다수의 추상화 수준에서 계층적 계획을 가능하게 하기 위해.
• 하위목표를 위한 최적 옵션을 학습하는 동시에 이들 옵션을 탐색하여 고수준 목표를 효율적으로 향해 나아가는 동적 프ogramming 알고리즘을 개발하기 위해.
• 옵션 모델의 재귀적 조합을 지원하기 위해 벨만 방정식을 일반화하여 확장성 있고 효율적인 계획을 가능하게 하기 위해.
• 구성적 옵션 모델링이 복잡한 순차적 결정 문제에서 수렴 속도 향상과 성능 향상에 기여하는지 입증하기 위해.

제안 방법

• 조합된 옵션의 가치를 구성 요소 옵션의 함수로 재귀적으로 모델링하기 위해 벨만 방정식을 확장하여 계층적 가치 전파를 가능하게 한다.
• 두 개 이상의 옵션 모델을 하나의 새로운 고수준 옵션 모델로 조합하는 재귀적 조합 연산자를 도입하며, 이는 종료 조건과 정책을 명시한다.
• 다중 하위목표를 위한 옵션 모델을 동시에 최적화하고, 이들 모델을 탐색하여 먼 목표에 효율적으로 도달하기 위한 동적 프로그래밍 알고리즘을 활용한다.
• 옵션의 시간적 추상화를 고려한 일반화된 가치 함수를 사용하여, 다수의 옵션을 넘는 가치 갱신을 가능하게 한다.
• 경험 기반으로 개별 옵션 모델을 향상시키는 내부 옵션 학습을 적용하고, 이를 통해 복잡한 행동을 구성하는 외부 옵션 계획을 수행한다.
• 하위목표 달성과 전체 목표 진전을 재귀적 옵션 조합을 통해 균형 잡힌 통합 학습 목표를 도입한다.

실험 결과

연구 질문

• RQ1 다층 강화 학습에서 내부 옵션 학습과 외부 옵션 계획을 하나의 프레임워크로 통합할 수 있는가?
• RQ2 옵션 모델의 재귀적 조합이 다수의 추상화 수준에서 효율적인 계획을 가능하게 하는가?
• RQ3 최적 옵션 모델의 조합이 복잡한 환경에서 계획 속도와 수렴에 어떤 영향을 미치는가?
• RQ4 일반화된 벨만 방정식이 옵션의 재귀적 학습과 조합을 어떻게 지원하는가?
• RQ5 하나의 알고리즘이 동시에 하위목표를 위한 최적 옵션을 학습하고 이를 조합하여 고수준 목표를 달성할 수 있는가?

주요 결과

• 제안된 프레임워크는 최적 옵션 모델을 재귀적으로 조합함으로써 계층적 계획을 가능하게 하여, 복잡한 작업에서 더 빠른 수렴을 이끌어낸다.
• 동적 프로그래밍 알고리즘이 여러 하위목표를 위한 최적 옵션을 성공적으로 학습하면서 동시에 먼 목표 향한 계획을 효율적으로 수행한다.
• 옵션의 재귀적 조합은 평탄한 기본 행동 기반 접근 방식에 비해 계획 효율성을 크게 향상시킨다.
• 일반화된 벨만 방정식은 조합된 옵션의 가치를 효과적으로 포착하여, 다양한 추상화 수준 간의 정확한 가치 전파를 가능하게 한다.
• 실험 결과는 사전에 학습된 재사용 가능한 옵션 모델을 활용하여 목표 향한 빠른 진전을 이룰 수 있음을 보여준다.
• 이 프레임워크는 내부 옵션 학습(개별 옵션의 향상)과 외부 옵션 계획(옵션의 조합)을 모두 지원하여 통합된 학습 및 계획 메커니즘을 제공한다.