[논문 리뷰] An Anytime Algorithm for Task and Motion MDPs

Siddharth Srivastava, Nishant Desai외 2명|arXiv (Cornell University)|2018. 02. 16.

Robotic Path Planning Algorithms참고 문헌 15인용 수 5

한 줄 요약

이 논문은 동적 추상화를 사용하여 고수준 의사결정과 저수준 운동 계획을 연결함으로써 확률적 작업 및 운동 계획 문제를 마르코프 결정 과정(MDP)으로 모델링하는 anytime 알고리즘을 제안한다. 이 방법은 정책 품질을 점진적으로 향상시키며, 전체 계산 시간의 10%만으로도 실행 결과의 90%를 커버할 수 있고, 확률적 완전성을 보장하면서도 불확실성 하에서 조기 실행을 가능하게 한다.

ABSTRACT

Integrated task and motion planning has emerged as a challenging problem in sequential decision making, where a robot needs to compute high-level strategy and low-level motion plans for solving complex tasks. While high-level strategies require decision making over longer time-horizons and scales, their feasibility depends on low-level constraints based upon the geometries and continuous dynamics of the environment. The hybrid nature of this problem makes it difficult to scale; most existing approaches focus on deterministic, fully observable scenarios. We present a new approach where the high-level decision problem occurs in a stochastic setting and can be modeled as a Markov decision process. In contrast to prior efforts, we show that complete MDP policies, or contingent behaviors, can be computed effectively in an anytime fashion. Our algorithm continuously improves the quality of the solution and is guaranteed to be probabilistically complete. We evaluate the performance of our approach on a challenging, realistic test problem: autonomous aircraft inspection. Our results show that we can effectively compute consistent task and motion policies for the most likely execution-time outcomes using only a fraction of the computation required to develop the complete task and motion policy.

연구 동기 및 목표

• 로봇 시스템에서 불확실성 하에서 고수준 작업 계획과 저수준 운동 계획을 통합하는 데 도전하는 것.
• 기존 MDP 솔버가 높은 분지 계수와 긴 시간 수평으로 인해 실패하는, 가산 불가능한 상태 및 동작 공간을 가진 MDP에 대해 확장 가능한 해결책을 개발하는 것.
• 전체 계산이 완료되기 전에도 가능한 정책을 점진적으로 생성함으로써 조기 실행을 가능하게 하는 것.
• 실제 연속 환경에서 계산 비용과 정책 품질의 균형을 유지하면서도 확률적 완전성을 보장하는 것.
• 고수준 MDP와 저수준 운동 계획을 연결하는 데 있어 추상화 기반 계층적 모델링의 효과를 입증하는 것.

제안 방법

• 이 접근법은 고수준 동작이 배터리 소모 및 궤도 타당성과 같은 저수준 운동 계획 정밀화에 의존하는 확률적 MDP로 작업 및 운동 계획 문제를 모델링한다.
• 동적 추상화를 사용하여 MDP 표현을 단순화함으로써 고수준 MDP 솔버가 추상화된 모델에서 효율적으로 작동할 수 있도록 한다.
• 계산 시간이 더 많이 할당될수록 정책을 지속적으로 개선하는 anytime 정책 합성 알고리즘을 수행한다.
• 특정 동작의 필요에 따라 추상화가 개선되며, 운동 계획을 통해 타당성을 평가하고 전이 확률을 업데이트한다.
• 운동 계획 결과를 MDP 전이 함수에 통합하여 고수준 결정이 배터리 소모 및 충돌 회피와 같은 물리적 제약 조건을 고려하도록 보장한다.
• 전체 정책 계산이 끝나지 않은 상태에서도 실행을 시작할 수 있으며, 미해결 시나리오에 대한 런타임 모니터링과 함께 지속적인 개선이 이루어진다.

실험 결과

연구 질문

• RQ1 연속된 상태 및 동작 공간을 가진 확률적 MDP에 대해 anytime 알고리즘이 효과적으로 작업 및 운동 정책을 계산할 수 있는가?
• RQ2 고차원 계획 문제에서 계산 복잡도를 감소시키면서도 해결 품질을 유지할 수 있는 추상화된 MDP 모델의 성능은 어느 정도인가?
• RQ3 최소한의 사전 계산으로 얼마나 높은 커버리지의 정책을 생성함으로써 조기 실행을 가능하게 할 수 있는가?
• RQ4 액추에이터 및 센서 성능의 다양한 수준의 불확실성 하에서 알고리즘은 정책 품질과 계산 시간을 어떻게 균형 잡는가?
• RQ5 추상화 기반 정밀화가 물리적 제약 조건 하에서도 타당성을 유지하면서 확률적 완전성을 보장할 수 있는가?

주요 결과

• 센서 및 액추에이터 노이즈가 5%일 경우, 전체 계산 시간의 10%만으로도 가장 가능성이 높은 실행 결과의 90%를 커버하는 정책을 계산할 수 있다.
• 액추에이터 및 센서의 오류율이 20%일 경우, 계산의 40%만으로도 실행 궤도의 약 80%를 커버할 수 있다.
• 5% 노이즈 시나리오에서는 정책 계산이 10초 이내에 완료되어 강력한 anytime 성능를 입증한다.
• 알고리즘은 확률적 완전성을 보장한다. 즉, 충분한 시간이 주어지면 최종적으로 해답을 찾을 수 있다.
• Anytime 성능 프로파일은 오목형이며, 이는 초기 계산 단계에서 높은 품질의 해답을 얻을 수 있고, 시간이 지남에 따라 수익 감소가 발생한다는 것을 의미한다.
• 전체 정책 계산이 끝나지 않은 상태에서도 안전한 실행이 가능하며, 런타임에서 미해결 시나리오를 감지하고 필요에 따라 안전 상태로의 후퇴를 수행할 수 있다.