[논문 리뷰] Affordance-Driven Next-Best-View Planning for Robotic Grasping

Xuechao Zhang, Dong Wang외 8명|arXiv (Cornell University)|2023. 09. 18.

Robot Manipulation and Learning인용 수 6

한 줄 요약

이 논문은 기하적 재구성 대신 상상된 그립 품질을 기반으로 관측 시점(관점)을 선택하는 약용 기반 다음 최적 시점 계획 프레임워크인 ACE-NBV를 제안한다. 묵시적 신경 표현을 활용한 새로운 시점 합성과 시점 인식 그립 약용 모듈을 통해 시뮬레이션에서 83%의 그립 성공률을 달성했으며, 더 적은 시점 수로 복잡한 실제 환경에서 5/5의 성공률을 기록했다. 이는 기존의 기준보다 뛰어난 성능이다.

ABSTRACT

Grasping occluded objects in cluttered environments is an essential component in complex robotic manipulation tasks. In this paper, we introduce an AffordanCE-driven Next-Best-View planning policy (ACE-NBV) that tries to find a feasible grasp for target object via continuously observing scenes from new viewpoints. This policy is motivated by the observation that the grasp affordances of an occluded object can be better-measured under the view when the view-direction are the same as the grasp view. Specifically, our method leverages the paradigm of novel view imagery to predict the grasps affordances under previously unobserved view, and select next observation view based on the highest imagined grasp quality of the target object. The experimental results in simulation and on a real robot demonstrate the effectiveness of the proposed affordance-driven next-best-view planning policy. Project page: https://sszxc.net/ace-nbv/.

연구 동기 및 목표

• 단일 시점 인식이 무거운 가림을 겪는 경우 실패하는 혼잡한 환경에서 가려진 물체를 그립하는 데 도전하는 문제를 해결한다.
• 기하적 재구성보다 그립 약용 향상에 중점을 두는 기존 다음 최적 시점 방법의 한계를 극복한다.
• 관측 시점을 그립 품질 예측을 최대화하는 방식으로 선택할 수 있도록 인간과 유사한 공간적 추론 능력을 로봇 시스템에 부여한다.
• 새로운 시점 합성과 그립 약용 예측을 통합한 단일 프레임워크를 개발하여 로봇 조작에서 능동적 인식을 실현한다.

제안 방법

• 물체 기하학적 특성과 물체 간 가림 관계를 활용하여, 가려진 대상에 대해 그립 합성을 향상시키는 시점 인식 그립 약용 예측 모듈을 도입한다.
• 묵시적 신경 표현을 통해 새로운 시점을 비관측된 시점에서 생성할 수 있도록 NeRF 유사 학습 프레리즘을 채택한다.
• 상상된 새로운 시점을 활용하여, 시점 인식 모듈을 통해 여러 후보 그립 방향에 대한 그립 약용을 예측한다.
• 예측된 그립 품질 향상도가 가장 높은 관측 시점을 선택하는 다음 최적 시점 계획 정책을 설계한다.
• 그립 성공률을 극대화하면서도 관측 횟수를 최소화하도록 모델을 엔드 투 엔드로 학습한다.
• 7-DoF 팔을 장착한 실제 로봇 조작 파이프라인에 프레임워크를 통합하고, 실제 환경에서의 구현을 수행한다.

실험 결과

연구 질문

• RQ1 가려진 그립 작업에서 기하적 재구성에 기반한 전통적 방법에 비해 상상된 그립 약용 품질을 기반으로 한 관측 시점 선택이 더 우수한 성능을 낼 수 있는가?
• RQ2 묵시적 신경 표현을 활용한 새로운 시점 합성을 통해 가려진 물체의 그립 예측 성능 향상에 얼마나 효과적인가?
• RQ3 시점 인식 그립 약용 모듈은 표준 기하학적 또는 외관 기반 기준 대비 그립 품질 예측 성능을 향상시키는가?
• RQ4 제안된 ACE-NBV 프레임워크는 관측 단계를 최소화하면서도 실제 혼잡한 환경에서 높은 그립 성공률을 달성할 수 있는가?

주요 결과

• 시뮬레이션에서 ACE-NBV는 83%의 그립 성공률(SR)을 기록했으며, 다음 최적 기준(Breyer’s [4])의 81%와 최신 기술(SOTA) GIGA의 79%를 초월했다.
• 실제 환경 실험에서 ACE-NBV는 가장 도전적인 환경(Scenes 1)에서 5/5 성공률을 기록했으며, Breyer’s [4]의 3/5와 GIGA의 3/5를 뛰어넘었고, 더 적은 시점 수를 사용했다.
• 시뮬레이션에서 평균 시점 수는 2.97로, Breyer’s [4]의 4.31보다 줄어들어 더 효율적인 관측 계획을 구현했다.
• 절단 실험 결과, 새로운 시점 합성 브랜치를 제거하면 SR이 80%로 떨어지고, 기하학적 및 레이 기반 특징을 제거하면 74%로 떨어지며, 이는 각각의 중요성을 확인한다.
• 실제 실험에서 ACE-NBV는 평균 2.6~3.4회의 시점을 사용하여 고정 궤적 기반 기준(4.0회의 시점)보다 현저히 적은 수의 관측을 요구했으며, 최신 기술 방법과도 경쟁 가능했다.
• 다양한 물체 형태와 가림 정도에 걸쳐 뛰어난 강인성을 보였으며, 물체가 심하게 가려져 있어도 일관된 성능을 유지했다.