[논문 리뷰] PODDP: Partially Observable Differential Dynamic Programming for Latent Belief Space Planning

Dicong Qiu, Yibiao Zhao외 1명|arXiv (Cornell University)|2019. 12. 14.

Robotic Path Planning Algorithms참고 문헌 44인용 수 5

한 줄 요약

PODDP는 연속적인 상태, 동작, 관측 및 비선형 역학을 가진 부분 관측 마르코프 결정 과정(POMDP)에서 이산 잠재 상태로부터 기인하는 불확실성을 고려한 신뢰 영역 계획을 위한 새로운 미분 가능 궤적 최적화 알고리즘입니다. 이 알고리즘은 신뢰도 궤적의 트리에 대한 동적 프로그래밍을 사용하여 사전 계획을 최적화하며, 불확실한 목표, 역학 및 에이전트의 의도을 포함한 과제에서 히우리스틱 기반 기준보다 유의미하게 뛰어난 성능을 보입니다. 벤치마크 및 자율 주행 실험을 통해 누적 비용이 낮아 보였습니다.

ABSTRACT

Autonomous agents are limited in their ability to observe the world state. Partially observable Markov decision processes (POMDPs) formally model the problem of planning under world state uncertainty, but POMDPs with continuous actions and nonlinear dynamics suitable for robotics applications are challenging to solve. In this paper, we present an efficient differential dynamic programming (DDP) algorithm for belief space planning in POMDPs with uncertainty over a discrete latent state, and continuous states, actions, observations, and nonlinear dynamics. This representation allows planning of dynamic trajectories which are sensitive to structured uncertainty over discrete latent world states. We develop dynamic programming techniques to optimize a contingency plan over a tree of possible observations and belief space trajectories, and also derive a hierarchical version of the algorithm. Our method is applicable to problems with uncertainty over the cost or reward function (e.g., the configuration of goals or obstacles), uncertainty over the dynamics (e.g., the dynamical mode of a hybrid system), and uncertainty about interactions, where other agents' behavior is conditioned on latent intentions. Benchmarks show that our algorithm outperforms popular heuristic approaches to planning under uncertainty, and results from an autonomous lane changing task demonstrate that our algorithm can synthesize robust interactive trajectories.

연구 동기 및 목표

• 비정규 분포 및 다중 모드 신뢰도 구조를 가진 연속 상태, 연속 동작 로봇 작업에서 부분 관측성 하의 계획 문제를 해결합니다.
• 연속 동작 및 비선형 역학을 다루기 어려운 기존 가우시안 신뢰도 영역 계획자와 일반적인 POMDP 해법의 한계를 극복합니다.
• 이산 잠재 상태(예: 목표 위치, 시스템 모드 또는 에이전트의 의도 등)에 대한 구조화된 불확실성을 고려한 효율적이고 미분 가능한 궤적 최적화를 가능하게 합니다.
• 특히 수축하는 수평 계획 및 불확실성 하에서 다른 에이전트와의 상호작용이 요구되는 실시간 로봇 응용 분야에 적합한 확장 가능한 방법을 개발합니다.

제안 방법

• 신뢰도 불확실성이 이산 잠재 변수에서 기인하는 연속 상태, 동작, 관측 및 비선형 역학을 가진 POMDP로 계획 문제를 수식화합니다.
• 다양한 관측 시퀀스와 해당되는 신뢰도 상태 궤적의 트리로 사전 계획을 구성함으로써, 불확실성 하에서 다단계 앞서기 계획을 가능하게 합니다.
• 각 관측 이후 베이지안 신뢰도 갱신을 사용하여, 신뢰도 동역학을 통해 근사 가치 함수를 역방향으로 전파하는 동적 프로그래밍 기법을 적용합니다.
• 차분 동적 프로그래밍(DDP)을 사용하여 가치 함수 및 도착 비용에 대한 분석적 기울기를 유도함으로써 궤적 트리의 局부 최적화를 가능하게 합니다.
• 특히 관측 주파수 대비 제어 주파수가 높은 환경에서의 계산 효율성을 향상시키기 위해 문제의 계층적 분해를 도입합니다.
• 각 관측 이후 베이즈 규칙을 사용하여 이산 잠재 상태에 대한 범주형 분포를 유지하는 신뢰도 상태 표현 방식을 사용합니다.

실험 결과

연구 질문

• RQ1 미분 가능 궤적 최적화 프레임워크는 이산 잠재 상태에서 기인하는 다중 모드 신뢰도 구조를 연속 POMDP에서 효과적으로 다룰 수 있는가?
• RQ2 PODDP는 전체 관측을 가정하거나 잠재 상태에 대한 가중치 비용 함수를 사용하는 히우리스틱 접근 방식과 비교해 계획 성능 및 강건성 면에서 어떻게 다릅니까?
• RQ3 다른 에이전트의 행동이 관측되지 않는 의도에 의존하는 상호작용 과제에서 PODDP는 효과적인 사전 계획을 생성할 수 있는가?
• RQ4 다양한 유형의 불확실성 하에서 PODDP는 누적 비용과 성공률 측면에서 최신 히우리스틱 기반 기준보다 얼마나 뛰어나게 성과를 내는가?

주요 결과

• 거친 지형 실험에서 PODDP는 MLDDP 및 PWDDP보다 유의미하게 낮은 평균 누적 비용을 기록했으며, p값은 각각 0.00008(t(1998) = 3.9) 및 0.007(t(1998) = 2.7)였습니다.
• 상호작용적 차선 변경 과제에서 PODDP는 MLDDP(p < 0.00001) 및 PWDDP(p < 0.00001)보다 유의미하게 낮은 비용을 기록하여 의도 불확실성 하에서도 뛰어난 성능을 입증했습니다.
• 초기 신뢰도가 공격적( aggressiveness)을 지향할 경우( b0(Nice) = 0.49), MLDDP는 최대우도 편향으로 인해 조기에 감속하여 Nice 운전자를 따라잡지 못했으며, 이로 인해 더 높은 비용이 발생했습니다.
• 균형 잡힌 사전 확률(b0(Nice) = 0.51) 조건에서 MLDDP는 Nice 운전자를 따라잡는 데 성공했지만 여전히 PODDP보다 더 높은 평균 비용을 기록했으며, 이는 PODDP의 강건성과 효율성을 확인합니다.
• PODDP는 잠재 상태 추론에 적응하는 사전 계획을 성공적으로 생성했으며, Nice 운전자 앞에 합류하거나 공격적 운전자 뒤에 머무르는 방식으로 의도 인식 계획의 효과성을 입증했습니다.
• 시각화 및 100회 실행 시뮬레이션을 통해 PODDP 궤적의 강건성이 확인되었으며, 다양한 관측 경로에서 높은 성공률과 안정적인 신뢰도 갱신이 이루어졌습니다.