[논문 리뷰] Entropy Regularized Motion Planning via Stein Variational Inference

Alexander Lambert, Byron Boots|arXiv (Cornell University)|2021. 07. 11.

Reinforcement Learning in Robotics참고 문헌 20인용 수 4

한 줄 요약

이 논문은 고자유도 시스템을 위한 다양하고 비용이 낮으며 충돌이 없는 궤적을 생성하기 위해 엔트로피 정규화를 적용한 스틴 변분 추론을 사용하는 입자 기반 운동 계획 알고리즘을 제안한다. 궤적 최적화를 확률적 추론으로 공식화하고, 헤시안 행렬의 가우스-뉴턴 근사치를 활용함으로써, 다중 모드의 후행 분포에서 효율적으로 샘플링할 수 있으며, 이는 애벌레 학습 및 강화 학습에서의 견고한 계획과 가치 함수 추정을 가능하게 한다.

ABSTRACT

Many Imitation and Reinforcement Learning approaches rely on the availability of expert-generated demonstrations for learning policies or value functions from data. Obtaining a reliable distribution of trajectories from motion planners is non-trivial, since it must broadly cover the space of states likely to be encountered during execution while also satisfying task-based constraints. We propose a sampling strategy based on variational inference to generate distributions of feasible, low-cost trajectories for high-dof motion planning tasks. This includes a distributed, particle-based motion planning algorithm which leverages a structured graphical representations for inference over multi-modal posterior distributions. We also make explicit connections to both approximate inference for trajectory optimization and entropy-regularized reinforcement learning.

연구 동기 및 목표

• 고자유도 운동 계획 작업을 위한 다양하고 비용이 낮은 타당 궤적 분포를 생성하기 위해.
• 작업 제약 조건과 장애물 회피 조건 하에서 궤적 후행 분포의 다중 모드 문제를 해결하기 위해.
• 전문가 유사 궤적의 풍부한 분포를 제공하여 샘플 효율적인 애벌레 학습과 강화 학습을 가능하게 하기 위해.
• 변분 추론을 통해 불확실성과 엔트로피 정규화를 통합함으로써 기존 궤적 최적화 방법을 개선하기 위해.
• 구조적 그래픽 모델과 곡률 정보를 활용하여 효율적인 샘플링을 가능하게 하는 확장 가능한 입자 기반 추론 프레임워크를 개발하기 위해.

제안 방법

• 최적성은 이진 지표 변수로 표현되고 비용 함수는 우도로 모델링됨에 따라, 궤적에 대한 베이지안 후행 추론으로서 운동 계획을 공식화한다.
• 궤적 매개변수에 대한 가우스 프로세스 사전분포를 사용하여 부드러움을 강제하고 희소 지지 상태에서의 효율적 보간을 가능하게 한다.
• 스티븐 변분 경사하강법(SVG-D)을 비등방성 커널과 헤시안 기반 메트릭을 사용하여 입자 위치를 반복적으로 갱신함으로써 목표 후행 분포로의 KL 발산을 최소화한다.
• 계산 비용을 줄이면서도 문제의 희소성과 구조를 유지하기 위해 헤시안의 희소 가우스-뉴턴 근사치를 적용한다.
• 실험적 후행 분포를 기반으로 한 입자 기반 가치 함수 추정을 도출하여, 모델 기반 강화 학습과 애벌레 학습에서의 활용을 가능하게 한다.
• 입자 간 평균 헤시안을 통해 곡률 인식 업데이트를 통합함으로써 고차원 궤적 공간에서 수렴성과 탐색 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 고차원 운동 계획에서 저비용, 충돌이 없는 궤적의 다중 모드 후행 분포에서 효율적으로 샘플링하는 방법은 무엇인가?
• RQ2 엔트로피 정규화는 애벌레 학습을 위한 궤적 분포의 다양성과 강건성 향상에 어떤 역할을 하는가?
• RQ3 헤시안 기반 메트릭을 사용하는 스틴 변분 추론은 수렴성과 분포 품질 측면에서 기존 궤적 최적화 방법을 능가할 수 있는가?
• RQ4 구조적 그래픽 모델과 희소 선형 대수를 사용하여 확률적 운동 계획을 고자유도 시스템으로 확장할 수 있는가?
• RQ5 입자 기반 후행 근사치는 모델 기반 강화 학습의 가치 함수 추정을 어느 정도 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 7-DOF 조작 작업에서 시각화 및 보충 영상로 확인된 바와 같이 다양하고 비용이 낮으며 충돌이 없는 궤적을 성공적으로 생성하였다.
• 입자 기반 후행 근사치는 최적 가치 함수의 정확한 추정을 가능하게 하며, 식 (25)는 미분 가능하고 확장 가능한 추정치를 제공한다.
• 평균 헤시안을 프리컨dition러로 사용함으로써 고차원 궤적 공간에서의 수렴성 향상과 효율적인 곡률 인식 업데이트를 달성하였다.
• 단일 입자 극한에서 GPMP2를 복원함으로써, 기존의 확립된 방법과의 일致성을 검증하였다.
• 품질적 결과로 보여지듯이, 단일 호모토피 클래스 내에서도 다중 모드 궤적 분포의 효과적인 탐색이 가능하였다.
• 희소 선형 해법기와 구조적 헤시안 근사치의 사용으로 장수평 계획에서 특히 두드러진 계산 속도 향상이 이루어졌다.