[논문 리뷰] Decision-Theoretic Planning with Concurrent Temporally Extended Actions

Khashayar Rohanimanesh, Sridhar Mahadevan|arXiv (Cornell University)|2013. 01. 10.

Reinforcement Learning in Robotics참고 문헌 7인용 수 35

한 줄 요약

이 논문은 인과적 마르코프 결정 과정에서 시간적으로 연장된 동작(옵션)을 동시에 실행할 수 있도록 하는 决策 이론적 계획 프레임워크를 제안한다. 마르코프 옵션 제약 조건 하에서 동시 옵션을 반정적 마르코프 결정 과정(SMDP)으로 모델링함으로써, SMDP 알고리즘을 사용한 효율적인 가치 함수 계산이 가능해지며, 순차적 옵션 실행 대비 더 빠른 계획 수행이 가능함을 보여준다.

ABSTRACT

We investigate a model for planning under uncertainty with temporallyextended actions, where multiple actions can be taken concurrently at each decision epoch. Our model is based on the options framework, and combines it with factored state space models,where the set of options can be partitioned into classes that affectdisjoint state variables. We show that the set of decisionepochs for concurrent options defines a semi-Markov decisionprocess, if the underlying temporally extended actions being parallelized arerestricted to Markov options. This property allows us to use SMDPalgorithms for computing the value function over concurrentoptions. The concurrent options model allows overlapping execution ofoptions in order to achieve higher performance or in order to performa complex task. We describe a simple experiment using a navigationtask which illustrates how concurrent options results in a faster planwhen compared to the case when only one option is taken at a time.

연구 동기 및 목표

• 다양하고 겹치는 시간적으로 연장된 동작이 존재하는 불확실성 하에서의 계획 문제를 해결하기 위해.
• 옵션의 동시 실행을 가능하게 하여 계획 효율성과 성능을 향상시키기 위해.
• 마르코프 옵션 제약 조건 하에서 동시 옵션을 반정적 마르코프 결정 과정(SMDP)으로 형식화하기 위해.
• 기존의 SMDP 알고리즘을 활용하여 복잡한 사실화된 상태 공간에서의 가치 함수 계산을 가능하게 하기 위해.
• 비례적 계획 수행에서 동시성의 경험적 이점을 입증하기 위해.

제안 방법

• 프레임워크는 각 결정 시점에서 다수의 옵션을 동시에 실행할 수 있도록 옵션 프레임워크를 확장한다.
• 상태 공간을 사실화된 것으로 모델링하며, 옵션을 서로 다른 상태 변수에 영향을 주는 클래스로 분할한다.
• 옵션이 마르코프일 경우, 동시 옵션의 결정 시점 집합이 반정적 마르코프 결정 과정(SMDP)을 형성한다는 것을 수학적으로 증명한다.
• 가치 함수 계산은 표준 SMDP 알고리즘을 사용하여 수행되며, 이는 효율적인 계획 수행을 가능하게 한다.
• 복잡한 작업을 달성하거나 성능을 향상시키기 위해 옵션의 겹침 실행을 지원한다.
• 비교 사례로 동시 옵션 실행을 평가하기 위해 경로 탐색 작업을 사용한다.

실험 결과

연구 질문

• RQ1 결정 이론적 계획 프레임워크 내에서 시간적으로 연장된 동작들이 효과적으로 동시에 실행될 수 있는가?
• RQ2 옵션의 동시 실행이 어떤 조건에서 반정적 마르코프 결정 과정(SMDP)을 이룬다?
• RQ3 동시 옵션 실행이 순차적 실행 대비 계획 성능에 어떻게 향상되는가?
• RQ4 사실화된 상태 공간 모델과 동시 옵션을 효과적으로 조합하여 확장 가능한 계획을 수행할 수 있는가?
• RQ5 경로 탐색 작업에서 옵션 동시성은 수렴 속도와 해의 품질에 어떤 영향을 미치는가?

주요 결과

• 옵션이 마르코프일 경우, 동시 옵션 모델은 유효한 반정적 마르코프 결정 과정(SMDP)을 형성하며, 이는 SMDP 알고리즘의 적용을 가능하게 한다.
• 옵션의 동시 실행은 순차적 옵션 실행 대비 경로 탐색 작업에서 더 빠른 계획 생성을 이끈다.
• 기존의 SMDP 솔버를 활용함으로써 프레임워크는 효율적인 가치 함수 계산을 지원한다.
• 서로 다른 상태 변수에 영향을 주는 옵션의 클래스로 분할은 확장 가능하고 모듈러한 계획 수행을 가능하게 한다.
• 경험적 결과는 동시성으로 인해 계획 시간이 감소하고 복잡한 작업에서 성능이 향상됨을 확인한다.
• 이론적으로 타당성을 유지하면서도 사실화된 MDP에서 실용적이고 고성능의 계획 수행이 가능하다.