[논문 리뷰] VAT-Mart: Learning Visual Action Trajectory Proposals for Manipulating 3D ARTiculated Objects

Ruihai Wu, Yan Zhao외 8명|arXiv (Cornell University)|2021. 06. 28.

Robot Manipulation and Learning참고 문헌 97인용 수 25

한 줄 요약

VAT-Mart는 각 포인트의 작동 가능성과 3D 관절 객체를 조작하기 위한 다양한 시각적 작동 궤적 제안을 학습하여 상호작용-기반 인지 프레임워크를 가능하게 하며, 이는 강화 학습과 인지 네트워크를 공동으로 훈련시켜 새로운 형태와 실제 데이터에 일반화합니다.

ABSTRACT

Perceiving and manipulating 3D articulated objects (e.g., cabinets, doors) in human environments is an important yet challenging task for future home-assistant robots. The space of 3D articulated objects is exceptionally rich in their myriad semantic categories, diverse shape geometry, and complicated part functionality. Previous works mostly abstract kinematic structure with estimated joint parameters and part poses as the visual representations for manipulating 3D articulated objects. In this paper, we propose object-centric actionable visual priors as a novel perception-interaction handshaking point that the perception system outputs more actionable guidance than kinematic structure estimation, by predicting dense geometry-aware, interaction-aware, and task-aware visual action affordance and trajectory proposals. We design an interaction-for-perception framework VAT-Mart to learn such actionable visual representations by simultaneously training a curiosity-driven reinforcement learning policy exploring diverse interaction trajectories and a perception module summarizing and generalizing the explored knowledge for pointwise predictions among diverse shapes. Experiments prove the effectiveness of the proposed approach using the large-scale PartNet-Mobility dataset in SAPIEN environment and show promising generalization capabilities to novel test shapes, unseen object categories, and real-world data. Project page: https://hyperplane-lab.github.io/vat-mart

연구 동기 및 목표

• 인간 환경에서의 3D 관절 객체(예: 캐비닛, 문) 조작의 강건성을 높이고 표준 동역학 표현을 넘어서는 것을 목표로 한다.
• 각 객체의 각 지점에서 어떻게 상호작용하고 어디에서 상호작용할지 예측하는 객체 중심의 실행 가능한 시각 priors를 제안한다.
• 상호작용-인지 프레임워크(VAT-Mart)를 개발하여 탐색 기반의 궤적을 공동으로 학습하고 이를 일반화 가능한 priors로 요약한다.
• PartNet-Mobility와 SAPIEN 환경을 사용하여 보지 못한 형태, 범주, 실제 데이터로의 일반화를 입증한다.

제안 방법

• 주어진 객체, 상호작용 유형, 작업에 대해 어디에서 상호작용이 가능한지 나타내는 포인트별 작동 가능도 점수를 예측한다.
• 포인트별 시각적 작동 궤적의 확률 분포와 각 궤적의 성공 가능성을 예측하여 어떻게 상호작용할지 제안한다.
• 포인트, 객체, 상호작용, 작업 특징에 조건부로 의존하는 다양한 궤적 제안을 생성하기 위해 조건부 변분 오토인코더를 사용한다.
• 시뮬레이션에서 다양한 상호작용 궤적을 탐색하도록 RL 정책(TD3)을 훈련하고, 인지 네트워크로부터 실행 가능한 priors를 학습하도록 감독한다; 다양한 제안을 탐색하도록 호기심 기반 피드백을 포함한다.
• 부분 포인트 클라우드를 인코딩하기 위해 인지 백본(PointNet++ 기반)을 활용하고 실행 가능성, 궤적 제안, 궤적 점수를 공동으로 예측한다.
• PartNet-Mobility를 SAPIEN에서 평가하고, 새로운 형태와 실제 데이터로의 일반화를 포함한 질적·양적 분석으로 예측 및 하위 조작을 평가한다.

실험 결과

연구 질문

• RQ1 포인트별 작동 가능성과 궤적 제안이 다양한 3D 관절 형태와 보지 못한 범주에 대해 일반화될 수 있는가?
• RQ2 조밀하고 기하학을 고려한 상호작용 조건부 priors가 전통적 운동학 표현보다 하위 조작 성능을 개선하는가?
• RQ3 호기심 기반 탐색이 포함된 상호작용-인지 루프가 다양하고 작업 관련 궤적 제안을 생성하는가?
• RQ4 학습된 priors가 실제 세계 depth 데이터와 실제 로봇 실험으로 얼마나 잘 전이되는가?

주요 결과

Object	Interaction	Accuracy (%)	Precision (%)	Recall (%)	F-score (%)	Coverage (%)
door	pushing	82.24 / 72.44	81.28 / 72.83	85.22 / 73.86	82.76 / 72.54	82.00 / 70.54
door	pulling	74.01 / 71.31	70.52 / 70.26	84.09 / 75.85	76.06 / 72.01	58.68 / 48.29
drawer	pushing	79.69 / 71.59	74.65 / 71.80	91.19 / 70.45	81.65 / 70.52	74.15 / 68.08
drawer	pulling	78.41 / 71.88	74.54 / 72.29	87.50 / 72.44	80.23 / 71.71	81.15 / 64.31

• 작동 가능성 예측은 현저한 정확도, 정밀도, 재현율, F-점수, 커버리지를 달성하며 문과 서랍에 대해 범주 간 일반화를 보여준다.
• 궤적 제안 모듈은 포인트, 객체, 상호작용, 작업에 조건화된 다양한 상호작용 궤적을 제시하고, 각 궤적의 성공 점수는 작업 성공과 상관관계를 가진다.
• VAT-Mart 기반 하류 조작은 대부분의 작업에서 RL 기반 기준, 수작업 휴리스틱 및 Where2Act 유사 기준선보다 우수하며, 특히 서랍/문 당김 및 밀기에서 두드러진다.
• 실세계 데이터 실험은 실제 깊이 스캔에 대한 질적 일반화를 보이고, 실제 로봇 시연은 현장 적용 타당성을 확인한다.
• 프레임워크는 작동 가능성 히트맵에서 상호작용 지점을 샘플링하고 제안 분포에서 상위 평가 궤 traject를 선택함으로써 작업 인식형 공간의 계획을 간결하게 가능하게 한다.