[논문 리뷰] Learning-based Motion Planning in Dynamic Environments Using GNNs and Temporal Encoding

Ruipeng Zhang, Chenning Yu외 3명|arXiv (Cornell University)|2022. 10. 16.

Robot Manipulation and Learning인용 수 9

한 줄 요약

이 논문은 동적 환경에서 온라인 계획을 가속화하기 위해 시간적 인코딩과 이민 학습을 통합한 GNN 기반 운동 계획 프레임워크를 제안한다. SIPP 전문가를 활용한 DAgger를 통해 간선 우선순위 정책을 학습함으로써 충돌 검사 횟수를 1000배 이상 감소시키고, 계획 속도를 최대 95% 향상시키면서도 2-DoF에서 7-DoF 로봇 암에서 높은 성공률 유지를 달성한다.

ABSTRACT

Learning-based methods have shown promising performance for accelerating motion planning, but mostly in the setting of static environments. For the more challenging problem of planning in dynamic environments, such as multi-arm assembly tasks and human-robot interaction, motion planners need to consider the trajectories of the dynamic obstacles and reason about temporal-spatial interactions in very large state spaces. We propose a GNN-based approach that uses temporal encoding and imitation learning with data aggregation for learning both the embeddings and the edge prioritization policies. Experiments show that the proposed methods can significantly accelerate online planning over state-of-the-art complete dynamic planning algorithms. The learned models can often reduce costly collision checking operations by more than 1000x, and thus accelerating planning by up to 95%, while achieving high success rates on hard instances as well.

연구 동기 및 목표

• 이동 장애물이 존재하는 동적 환경에서 온라인 운동 계획을 가속화하는 과제를 해결한다.
• 고차원 구성 공간에서 시간-공간적 추론을 통합함으로써 정적 학습 기반 계획자들의 한계를 극복한다.
• 시간 인식 능력을 갖춘 그래프 구조와 장애물 궤적을 동시에 인코딩할 수 있는 GNN 아키텍처를 설계한다.
• 복잡하고 어려운 사례에서 성공률을 훼손하지 않으면서 계획 효율성을 향상시킨다.
• 완전 알고리즘, 히وري스틱 기반 베이스라인, 엔드 투 엔드 RL 방법과 비교해 뛰어난 성능을 입증한다.

제안 방법

• 두 단계 GNN 아키텍처를 사용: 먼저 어텐션 메커니즘을 통해 전역 그래프와 장애물 궤적을 인코딩하고, 이후 지역 상태 및 시간 이동된 장애물 데이터로 정밀 조정한다.
• Transformer과 NeRF에서 영감을 얻은 시간 인코딩을 도입하여 장애물 운동의 고주파 시간 패턴을 포착한다.
• DAgger를 사용한 이민 학습을 통해 GNN를 엔드 투 엔드로 훈련하고, SIPP를 전문 정책으로 활용해 행동 클론 및 자기 개선을 수행한다.
• 온라인 롤아웃에서 수집한 데이터를 집계하여 일반화 능력을 향상시켜, 특히 어려운 계획 시나리오에서 유리하다.
• 학습된 우선순위 점수에 기반해 구성 그래프의 간선 우선순위를 정하여 고비용 충돌 검사를 줄인다.
• 선택적 백트래킹 검색을 통합하여 성공률을 향상시키되, 성공 사례에서는 충돌 검사 횟수를 증가시키지 않는다.

실험 결과

연구 질문

• RQ1 시간적 인코딩을 갖춘 GNN 기반 모델이 동적 운동 계획을 위한 간선 우선순위 학습에 효과적으로 기여할 수 있는가?
• RQ2 DAgger를 활용한 이민 학습이 엔드 투 엔드 강화 학습에 비해 동적 운동 계획을 위한 일반화 가능한 정책 학습에서 어떻게 성능을 높이는가?
• RQ3 시간적 및 공간적 인코딩은 온라인 계획에서 충돌 검사 연산을 얼마나 줄일 수 있는가?
• RQ4 제안된 방법은 완전 알고리즘이 어려워하는 어려운 사례에서도 높은 성공률을 유지하는가?
• RQ5 전역, 국소, 시간 인코딩 구성 요소가 성능에 각각 어떤 기여를 하는가?

주요 결과

• 제안된 방법은 SIPP와 같은 최첨단 완전 알고리즘 대비 충돌 검사 연산을 1000배 이상 감소시켰다.
• 온라인 계획 계산 시간은 2-DoF 및 7-DoF KUKA 암 작업에서 최대 95% 가속화되었고, 높은 성공률 유지가 확인되었다.
• DAgger를 활용한 이민 학습은 엔드 투 엔드 RL 방법보다 우수한 성능을 보였다: DQN은 훈련 세트에서 오직 54%의 성공률을 기록했고, PPO는 테스트 세트에서 20%에 불과했다.
• 절단 분석을 통해 전역 장애물 인코딩, 국소 장애물 인코딩, 시간 인코딩 모두 성능 향상에 유의미한 기여를 했으며, 특히 어려운 사례에서 두드러졌다.
• 선택적 백트래킹 검색을 추가함으로써 성공률은 향상되었고, 성공 사례에서는 충돌 검사 횟수가 증가하지 않아 효율성 향상이 입증되었다.
• 기존의 학습 기반 방법의 동적 변형인 OracleNet-D는 랜덤 문제와 어려운 문제 모두에서 모든 지표에서 GNN-TE에 뒤지며 성능이 열 劣하다.