[논문 리뷰] A Solution to Time-Varying Markov Decision Processes

Lantao Liu, Gaurav S. Sukhatme|arXiv (Cornell University)|2016. 05. 03.

Bayesian Modeling and Causal Inference참고 문헌 23인용 수 4

한 줄 요약

이 논문은 시간에 따라 변화하는 상태 전이 동역학을 모델링하면서 상태 공간 확장이나 시간 이산화 없이 시공간적 불확실성을 다룰 수 있도록 표준 MDP를 확장한 새로운 프레임워크인 시간 변화 마르코프 결정 프로세스(TVMDP)를 소개한다. 시간에 따라 변화하는 전이 동역학을 처리하기 위해 공간 벨먼 백업과 코모고로프 방정식을 통한 시간적 진화를 조합한 이중가치 전파 기반 메커니즘을 제안하며, 실제 해류 데이터를 활용한 해양 로봇 주행에서 뛰어난 성능을 입증한다.

ABSTRACT

We consider a decision-making problem where the environment varies both in space and time. Such problems arise naturally when considering e.g., the navigation of an underwater robot amidst ocean currents or the navigation of an aerial vehicle in wind. To model such spatiotemporal variation, we extend the standard Markov Decision Process (MDP) to a new framework called the Time-Varying Markov Decision Process (TVMDP). The TVMDP has a time-varying state transition model and transforms the standard MDP that considers only immediate and static uncertainty descriptions of state transitions, to a framework that is able to adapt to future time-varying transition dynamics over some horizon. We show how to solve a TVMDP via a redesign of the MDP value propagation mechanisms by incorporating the introduced dynamics along the temporal dimension. We validate our framework in a marine robotics navigation setting using spatiotemporal ocean data and show that it outperforms prior efforts.

연구 동기 및 목표

• 해류나 바람장과 같이 시간에 따라 변화하고 공간적으로 분포된 불확실성이 존재하는 환경에서의 의사결정 문제를 해결하기 위해.
• 정적 전이 확률를 가정하는 대신 시간에 따라 변화하는 확률적 전이를 모델링할 수 있도록 표준 MDP 프레임워크를 확장하기 위해.
• 시간 이산화와 상태 공간 확장을 피하면서도 계산의 타당성을 유지할 수 있는 해결책을 개발하기 위해.
• 시공간적 해류 데이터를 활용한 실제 해양 로봇 주행 시나리오에서 프레임워크를 검증하기 위해.

제안 방법

• 시간에 따라 변화하는 전이 모델을 명시적으로 포함하는 표준 MDP의 확장으로서 시간 변화 마르코프 결정 프로세스(TVMDP)를 제안한다.
• 이중가치 전파 메커니즘을 도입: 공간적 전파에는 표준 벨먼 백업을, 시간적 전파에는 코모고로프 방정식을 사용한다.
• 행동 벡터와 교란 벡터로부터 유도된 다변량 정규분포의 혼합을 사용해 시간에 따라 변화하는 전이 동역학을 모델링한다.
• 좌표 변환과 근사 확률을 통해 의도한 다음 상태 방향으로의 운동 조건부 기대값을 계산한다.
• 의도한 다음 상태 방향으로의 기대 속도에서 유도된 조건부 기대값을 바탕으로 한 스텝 전이 시간을 추정한다.
• 계획 수렴 기간 동안 변화하는 전이 동역학을 모델링하기 위해 이산화하지 않은 연속시간 공식을 사용한다.

실험 결과

연구 질문

• RQ1 시간 이산화나 상태 공간 확장을 피하면서 시간에 따라 변화하는 확률적 상태 전이를 다룰 수 있는 의사결정 프레임워크를 설계할 수 있는가?
• RQ2 전이 동역학의 시간적 진화는 어떻게 모델링하고, 최적의 계획을 위한 가치 함수 계산에 통합할 수 있는가?
• RQ3 시간에 따라 변화하는 전이 모델을 통합할 경우, 해류와 같은 동적 환경에서의 주행 성능 향상이 이루어지는가?
• RQ4 계획 정확도와 계산 효율성 측면에서 기존 방법들인 TDMDP나 표준 MDP와 비교해 본다면, 제안된 TVMDP는 어떻게 다른가?

주요 결과

• TVMDP 프레임워크는 시간 이산화나 상태 공간 확장을 요구하지 않으면서도 연속 시간 내에서 시간에 따라 변화하는 전이 동역학을 성공적으로 모델링한다.
• 이중가치 전파 메커니즘—공간적 벨먼 백업과 코모고로프 방정식을 통한 시간적 진화—는 양 차원에 걸쳐 정확한 가치 함수 갱신을 가능하게 한다.
• 실제 해류 데이터를 활용한 해양 로봇 주행 시나리오에서, TVMDP는 이전 방법들, 즉 근사화된 TDMDP와 표준 MDP보다 뛰어난 성능을 보였다.
• 예측된 시간에 따라 변화하는 환경 동역학을 활용해 미래 전이 불확실성을 예측함으로써 계획 정확도를 향상시켰다.
• 좌표 변환과 조건부 기대값의 사용을 통해 이동 방향의 기대 운동 속도를 바탕으로 한 스텝 전이 시간을 효율적으로 추정할 수 있었다.