[논문 리뷰] Efficient Hierarchical Robot Motion Planning Under Uncertainty and Hybrid Dynamics

Ajinkya Jain, Scott Niekum|arXiv (Cornell University)|2018. 02. 12.

Robotic Path Planning Algorithms인용 수 9

한 줄 요약

이 논문은 불확실성과 하이브리드 동역학을 고려한 로봇 운동 계획을 위한 계층적 POMDP 플래너를 제안하며, 문제를 국소 동역학 모델에 대한 고수준 이산 계획과 저수준 연속 신뢰도 공간 계획으로 분해한다. 이 방법은 비선형적이고 접촉이 많은 환경에서 효율적이고 강건한 계획을 가능하게 하며, 14.682초의 계획 시간과 운동 제약 조건을 통한 상당한 불확실성 감소를 보여주는 시뮬레이션된 항공기 조립 작업에서 검증되었다.

ABSTRACT

Noisy observations coupled with nonlinear dynamics pose one of the biggest challenges in robot motion planning. By decomposing nonlinear dynamics into a discrete set of local dynamics models, hybrid dynamics provide a natural way to model nonlinear dynamics, especially in systems with sudden discontinuities in dynamics due to factors such as contacts. We propose a hierarchical POMDP planner that develops cost-optimized motion plans for hybrid dynamics models. The hierarchical planner first develops a high-level motion plan to sequence the local dynamics models to be visited and then converts it into a detailed continuous state plan. This hierarchical planning approach results in a decomposition of the POMDP planning problem into smaller sub-parts that can be solved with significantly lower computational costs. The ability to sequence the visitation of local dynamics models also provides a powerful way to leverage the hybrid dynamics to reduce state uncertainty. We evaluate the proposed planner on a navigation task in the simulated domain and on an assembly task with a robotic manipulator, showing that our approach can solve tasks having high observation noise and nonlinear dynamics effectively with significantly lower computational costs compared to direct planning approaches.

연구 동기 및 목표

• 접촉으로 인한 갑작스러운 동역학 변화와 노이즈가 많은 관측치를 가진 비선형 부분 관측 시스템에서의 계획 문제 도전에 대응한다.
• 장기적인 수평에서 전체 POMDP 계획의 계산 비용이 과도한 문제를 관리 가능한 부분 문제로 분해함으로써 해결한다.
• 하이브리드 동역학 모델(단일 국소 동역학 모델만 동시에 활성화됨)을 활용하여 복잡한 비선형 동역학을 단순화하고 불확실성 인식 계획을 가능하게 한다.
• 작업 특화 제약 조건(예: 평면을 따라 운동)을 활용해 상태 불확실성을 능동적으로 감소시켜 계획의 강건성을 향상시킨다.
• 직접 POMDP 접근 방식에 비해 고노이즈 및 비선형 환경에서 뛰어난 성능을 보이는 확장 가능하고 계산 효율적인 계획 프레임워크를 개발한다.

제안 방법

• 시스템 상태에 연속 상태와 활성화된 국소 동역학 모델를 나타내는 이산 모드를 포함하는 하이브리드 동역학 프레임워크를 사용해 로봇 동역학을 모델링한다.
• 연속 상태와 활성 동역학 모드에 대한 불확실성을 표현하는 하이브리드 신뢰도 상태를 정의하고, 하이브리드 신뢰도 전파 방정식을 사용한다.
• POMDP 계획 문제를 두 수준으로 분해한다: 국소 동역학 모델의 방문 순서를 정하는 고수준 이산 계획, 그 다음에 이어지는 저수준 연속 신뢰도 공간 계획.
• 고수준 계획을 통해 운동 제약 조건(예: 평면에 따라 움직임)을 활용해 상태 불확실성을 감소시킬 수 있는 국소 동역학 모델의 선택을 유도함으로써 정보 수집을 향상시킨다.
• 두 수준 모두 샘플링 기반 POMDP 솔버를 적용하며, 고수준 플래너는 이산 상태 전이를 사용하고, 저수준 플래너는 신뢰도 불확실성 하에서 연속 궤적을 최적화한다.
• 관측 모델을 평균이 0인 가우시안 노이즈(w ~ N(0, 2I₂))와 과정 노이즈(v ~ N(0, I₂))로 설정하여 하이브리드 신뢰도 프레임워크 내에서 확률적 상태 추정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 장수평 운동 계획 문제를 효율적으로 분해하여 계산 가능성이 높은 부분 문제로 나누는 데 있어 계층적 POMDP 플래너가 효과적으로 작용할 수 있는가?
• RQ2 노이즈가 많거나 부분 관측된 상황에서 하이브리드 동역학 모델을 어떻게 활용해 상태 불확실성을 감소시킬 수 있는가?
• RQ3 국소 동역학 모델의 순서를 정하는 것이 비선형적이고 접촉이 많은 작업에서 계획의 강건성과 계산 효율성을 어느 정도 향상시키는가?
• RQ4 특정 작업 제약 조건(예: 평면을 따라 운동)을 활용해 추가 센서 없이도 불확실성을 능동적으로 감소시킬 수 있는가?
• RQ5 복잡하고 비선형적인 도메인에서 직접 POMDP 계획과 비교해 본다면, 제안된 계층적 접근 방식은 성능과 계산 시간 측면에서 어떤가?

주요 결과

• 계층적 플래너는 기어를 날개의 구멍에 삽입하는 로봇 조립 작업에 대해 타당한 운동 계획을 성공적으로 생성하였으며, 표준 CPU에서 14.682초 내로 작업을 완료하였다.
• 운동 제약 조건(예: 평면 운동)을 활용해 불확실성을 감소시켰으며, 이는 국소화 과정에서 궤적이 날개에 평행한 평면 내에 유지된 것으로 확인되었다.
• 고수준 계획은 상태 불확실성이 감소하는 영역으로 향하는 데 도움이 되는 국소 동역학 모델(예: 모서리나 평면을 따라 운동)을 명시적으로 선택하였다.
• 관측 노이즈가 높은 상황(2×I₂ 공분산)에서도 이산 모델 순서를 통해 기하학적 제약 조건을 활용해 불확실성 감소를 실현함으로써 강건성을 확보하였다.
• 이산 및 연속 계획 수준으로의 분해로 인해 직접 POMDP 계획에 비해 계산 비용이 크게 감소하였으며, 이는 비선형적이고 복잡한 도메인에서의 실행 가능 계획을 가능하게 하였다.
• 이 방법은 시뮬레이션된 주행과 로봇 조작 작업 모두에서 효과를 입증하였으며, 하이브리드 동역학 모델링이 효율적이고 정보 수집 중심의 운동 계획을 가능하게 한다는 것을 보여주었다.