[논문 리뷰] Learning Implicit Sampling Distributions for Motion Planning

Clark Zhang, Jinwook Huh외 1명|arXiv (Cornell University)|2018. 06. 06.

Robotic Path Planning Algorithms참고 문헌 16인용 수 5

한 줄 요약

이 논문은 거부 샘플링을 마코프 결정 과정(MDP)으로 공식화하여, 샘플링 기반 운동 계획기에서 암묵적인 샘플링 분포를 강화 학습 기반으로 학습하는 방법을 제안한다. 유사한 환경에서의 과거 계획 경험을 활용해 충돌 검사 수와 트리 확장을 줄이는 정책을 적응적으로 학습하며, 7DOF 로봇 암 작업에서 균일 샘플링 대비 최대 2.7배 적은 충돌 검사 수와 5배 적은 노드 수를 달성한다.

ABSTRACT

Sampling-based motion planners have experienced much success due to their ability to efficiently and evenly explore the state space. However, for many tasks, it may be more efficient to not uniformly explore the state space, especially when there is prior information about its structure. Previous methods have attempted to modify the sampling distribution using hand selected heuristics that can work well for specific environments but not universally. In this paper, a policy- search based method is presented as an adaptive way to learn implicit sampling distributions for different environments. It utilizes information from past searches in similar environments to generate better distributions in novel environments, thus reducing overall computational cost. Our method can be incor- porated with a variety of sampling-based planners to improve performance. Our approach is validated on a number of tasks, including a 7DOF robot arm, showing marked improvement in number of collision checks as well as number of nodes expanded compared with baseline methods.

연구 동기 및 목표

• 손으로 설계한 히وري스틱에 의존하지 않고 샘플링 기반 운동 계획기에서 효과적인 샘플링 분포를 적응적으로 학습하는 방법을 개발하는 것.
• 유사한 환경에서의 과거 검색 경험을 기반으로 거부 샘플링 정책을 학습하여 운동 계획의 계산 비용을 줄이는 것.
• BiRRT, RRT, PRM 등의 기존 계획기 성능을 환경 인식 샘플링 전략을 학습함으로써 향상시키는 것.
• 다양한 환경, 특히 고차원 로봇 조작 작업에 걸쳐 샘플링 정책의 일반화를 가능하게 하는 것.
• 모델의 성능을 시뮬레이션 및 실제 로봇 시스템에서 검증하여 계획 효율성 향상이 일관되게 이루어지는지 확인하는 것.

제안 방법

• 복잡한 샘플링 분포를 거부 샘플링을 통해 암묵적으로 표현하며, 수용/거부 결정을 마코프 결정 과정(MDP)으로 모델링한다.
• 충돌 검사 수나 트리 크기와 같은 계획 비용 지표를 최소화하도록 거부 정책을 최적화하기 위해 정책 기반 강화 학습을 사용한다.
• 유사한 환경에서의 과거 계획 데이터를 기반으로 정책을 훈련하여, 새로운 환경에 대해 다시 학습하지 않고도 적용 가능하게 한다.
• MDP의 상태 표현에는 장애물까지의 거리, 목표 지점과의 가까움 등의 기하학적 특징을 포함하여 구성공간의 구조를 이해할 수 있도록 한다.
• 다양한 샘플링 기반 계획기(BiRRT, RRT, PRM 등)와 호환되며, 효율성을 향상시키기 위해 사전 처리 단계로 통합될 수 있다.
• 오프-폴리시 강화 학습을 사용해 정책을 엔드 투 엔드로 학습함으로써, 목표 영역 향한 편향 또는 장애물 표면 근처로의 향하는 등의 직관적인 히وري스틱을 발견할 수 있다.

실험 결과

연구 질문

• RQ1 학습된 거부 정책가 다양한 환경에서 균일 샘플링과 수작업으로 설계된 히وري스틱보다 계획 비용을 줄이는 데 성능이 뛰어나다고 할 수 있는가?
• RQ2 유사한 환경에서의 과거 계획 경험을 얼마나 효과적으로 활용하여 새로운, 볼 수 없는 환경에 대해 샘플링 정책을 일반화할 수 있는가?
• RQ3 학습된 정책가 효율성과 강건성 측면에서 기존의 알려진 히وري스틱 샘플링 전략과 비교해 어떻게 성능을 내는가?
• RQ4 이 방법이 고차원 로봇 조작 작업에서 충돌 검사 수와 트리 확장을 효과적으로 줄일 수 있는가?
• RQ5 정책이 우선시하는 환경적 특징는 무엇이며, 이는 직관적인 계획 히وري스틱과 일치하는가?

주요 결과

• 7DOF 로봇 암 작업에서 학습된 샘플링 분포는 균일 샘플링 대비 충돌 검사 수를 2.7배 줄였고, 확장된 노드 수는 5배 이상 감소시켰다.
• 100회의 실행에서 경로 계획 성공률가 97%에 달했으며, 동일한 샘플 수 제한 하에서 기준선의 96%보다 略적으로 높은 성능을 보였다.
• 정책은 목표 근처나 장애물에 가까운 구성 상태를 우선시하는 경향을 보였으며, 이는 테이블탑 조작 작업에 대한 직관적인 히وري스틱과 일치한다.
• 학습된 분포를 사용할 경우 계획 성능의 분산이 크게 감소하여 더 높은 강건성을 보였다.
• 훈련 중에 볼 수 없었던 새로운 테스트 환경에 대해서도 정책이 잘 일반화되어, 학습된 정책의 전이 가능성(transferability)을 입증했다.
• 기존에 알려진 히وري스틱 전략(예: 목표 향한 편향, 장애물 근접성)을 성공적으로 모방했을 뿐 아니라, 새로운 효과적인 샘플링 패턴도 발견했다.