[논문 리뷰] Learning Models as Functionals of Signed-Distance Fields for Manipulation Planning

Danny Driess, Jung-Su Ha외 2명|arXiv (Cornell University)|2021. 10. 02.

Robotic Path Planning Algorithms참고 문헌 42인용 수 12

한 줄 요약

이 논문은 서명 거리 장(field, SDF)의 기능적 표현으로서의 운동학적 및 역학적 모델을 학습하는 최적화 기반의 조작 계획 프레임워크를 제안한다. 이는 다양한 작업에 대해 정확하고 기하학적 정보를 반영한 계획을 가능하게 한다. 물체를 SDF로 표현함으로써, 점군이나 점유 격자보다 더 높은 예측 정확도와 유용한 기울기를 확보하여, 통합된 프레임워크 내에서 매달기 및 밀기 작업을 성공적으로 해결한다.

ABSTRACT

This work proposes an optimization-based manipulation planning framework where the objectives are learned functionals of signed-distance fields that represent objects in the scene. Most manipulation planning approaches rely on analytical models and carefully chosen abstractions/state-spaces to be effective. A central question is how models can be obtained from data that are not primarily accurate in their predictions, but, more importantly, enable efficient reasoning within a planning framework, while at the same time being closely coupled to perception spaces. We show that representing objects as signed-distance fields not only enables to learn and represent a variety of models with higher accuracy compared to point-cloud and occupancy measure representations, but also that SDF-based models are suitable for optimization-based planning. To demonstrate the versatility of our approach, we learn both kinematic and dynamic models to solve tasks that involve hanging mugs on hooks and pushing objects on a table. We can unify these quite different tasks within one framework, since SDFs are the common object representation. Video: https://youtu.be/ga8Wlkss7co

연구 동기 및 목표

• 서명 거리 장(SDF)의 기능적 표현으로서 학습된 모델을 활용하여 계획 효율성과 정확도를 향상시키는 조작 계획 프레임워크를 개발하는 것.
• 원시 센서 데이터와 계획 제약 조건 사이를 연결하는 일반적이고 미분 가능한 물체 표현으로 SDF를 사용하여, 모델을 인식 공간에 통합하는 도전 과제를 해결하는 것.
• 예를 들어 훅에 머그를 매달거나 물체를 밀기 등의 다양한 조작 작업을 SDF 기반 모델을 사용한 최적화 기반 계획 프레임워크 안에서 통합적으로 처리하는 것.
• SDF 기반 모델이 점군 또는 점유 기반 표현보다 더 뛰어난 예측 성능과 더 유용한 기울기를 제공함을 보여주는 것.

제안 방법

• 장면 내 물체는 기하학적 정보(내부 및 외부 거리 포함)를 인코딩하는 서명 거리 장(SDF)으로 표현된다.
• 운동학적 및 역학적 모델은 이러한 SDF의 기능적 표현으로 학습되며, 기능적 출력은 조작 상호작용의 성공 여부 또는 전방 역학 예측을 결정한다.
• 궤적 최적화 프레임워크는 이러한 학습된 기능적 표현을 제약 조건으로 통합하며, 이산적 결정을 통해 계획 수순의 각 단계에서 활성화되는 기능적 표현을 정한다.
• SDF는 공유된 2차원 컨볼루션 인코더를 통해 200차원 특징 벡터로 인코딩되며, 이는 쿼리 점 특징과 조합되어 다층 퍼셉트론(MLP)을 통해 기능적 출력을 예측한다.
• 비볼록성 문제를 다루기 위해, 밀이의 궤적을 물체 주변의 네 개의 고정된 초기화 점을 사용하며, 각 장면에 대해 여러 번의 최적화 실행을 통해 최상의 해를 선택한다.
• 최적화가 단계 수와 해당 초기화를 결정할 수 있도록 허용함으로써, 다단계 계획(예: 다중 밀기 단계)을 지원한다.

실험 결과

연구 질문

• RQ1 학습된 서명 거리 장(SDF)의 기능적 표현은 통합된 계획 프레임워크 내에서 운동학적 및 역학적 조작 모델을 효과적으로 표현할 수 있는가?
• RQ2 점군이나 점유 격자와 비교할 때, SDF를 기하학적 표현으로 사용할 경우 모델 정확도와 계획 효율성 측면에서 어떤 차이가 있는가?
• RQ3 SDF 기반 모델은 점군 또는 점유 기반 표현보다 최적화 기반 계획에 더 정보적인 기울기를 제공하는가?
• RQ4 동일한 SDF 기반 기능적 모델을 사용하여 매달기 및 밀기와 같은 다양한 조작 작업을 단일 프레임워크로 얼마나 잘 처리할 수 있는가?
• RQ5 복잡한 조작 시나리오에서 비볼록성과 국소 최적해 문제에 대해 최적화 프레임워크는 얼마나 견고한가?

주요 결과

• SDF 기반 모델은 특히 조작에 관련된 복잡한 비볼록 기하학적 형태를 잘 포착함에 따라, 점군 및 점유 기반 모델보다 더 높은 예측 정확도를 보였다.
• SDF 표현은 최적화에 더 유용한 기울기를 생성하여 궤적 계획에서 수렴성과 해의 품질을 향상시켰다.
• 이 프레임워크는 다양한 형태와 크기의 물체(예: L자형 및 상자 형태)를 포함한 다단계 밀기 작업을 성공적으로 계획하였다.
• 재학습 없이도 다양한 물체 형태와 구성에 대해 일반화가 가능하여, 다양한 테스트 케이스에서 일관된 성능을 보였다.
• 밀이의 궤적을 위한 네 개의 고정 초기화 점을 사용함으로써, 비최적의 초기 설정이더라도 비볼록 상황에서 타당한 해로의 수렴을 크게 향상시켰다.
• 20개의 후보 실행(4개의 단일 단계 및 16개의 이중 단계) 중에서 최상의 해를 선택하는 최적화 프레임워크는 기준 방법보다 더 낮은 제약 위반과 비용을 달성하였다.