[논문 리뷰] Structure from Action: Learning Interactions for Articulated Object 3D Structure Discovery

Neil Nie, Samir Yitzhak Gadre외 2명|arXiv (Cornell University)|2022. 07. 19.

Human Pose and Action Recognition인용 수 5

한 줄 요약

Structure from Action (SfA)는 3D 관절 구조를 학습함으로써 숨겨진 부위와 관절 구조를 폭넓게 드러내는 3D 상호작용을 통해 부품 기하학, 분할, 관절 파라미터를 탐지하는 프레임워크이다. 시뮬레이션에서 훈련된 SfA는 새로운 객체 카테고리와 실제 세계의 객체로 일반화되며, 새로운 카테고리에서 상태최저 기준보다 25.4% 높은 3D IoU 성능을 기록한다.

ABSTRACT

We introduce Structure from Action (SfA), a framework to discover 3D part geometry and joint parameters of unseen articulated objects via a sequence of inferred interactions. Our key insight is that 3D interaction and perception should be considered in conjunction to construct 3D articulated CAD models, especially for categories not seen during training. By selecting informative interactions, SfA discovers parts and reveals occluded surfaces, like the inside of a closed drawer. By aggregating visual observations in 3D, SfA accurately segments multiple parts, reconstructs part geometry, and infers all joint parameters in a canonical coordinate frame. Our experiments demonstrate that a SfA model trained in simulation can generalize to many unseen object categories with diverse structures and to real-world objects. Empirically, SfA outperforms a pipeline of state-of-the-art components by 25.4 3D IoU percentage points on unseen categories, while matching already performant joint estimation baselines.

연구 동기 및 목표

• 로봇이 사전에 카테고리별 지식 없이도 새로운, 알려지지 않은 관절 구조를 가진 3D CAD 모델을 자율적으로 탐지할 수 있도록 하는 것.
• 의 intensional 3D 상호작용을 통해 관절 구조의 가림을 복구하고 관절의 구조를 회복하는 과제를 해결하는 것.
• 지속적인 부품 추적 및 재구성에 기여하는 상호작용 정책 학습과 동적 3D 인식을 통합하는 통합 프레임워크를 개발하는 것.
• 훈련된 카테고리 외의 다양한 운동학적 기구와 실제 세계의 객체로의 제로샷 일반화를 가능하게 하는 것.
• 수동적 인식과 고정된 상호작용 전략의 한계를 극복하기 위해, 시각 피드백 기반으로 적응 가능한 정보성 있는 3D 동작을 학습하는 것.

제안 방법

• SfA는 숨겨진 부위와 관절 제약 조건(예: 관절 유형, 운동 축 등)을 드러내기 위해 상호작용하는 3D 행동을 선택하는 순차적 3D 상호작용 정책을 학습한다.
• 관찰된 상호작용 동안 RGB-D 관측치를 통합하여, 가림이 있을지라도 완전하고 분할된 부품을 복구하는 동적 3D 부품 재구성 모듈을 활용한다.
• 관찰된 상호작용에서의 운동 궤적을 분석함으로써 관절 파라미터(예: 유형, 축, 범위 등)를 추정하는 공동 추정 모듈을 사용한다.
• 모든 부품과 관절을 일관된 3D CAD 모델(예: URDF) 출력을 가능하게 하는 표준 좌표계를 사용한다.
• 시각 피드백 기반의 유연한 상호작용 전략을 학습하기 위해, 기계 학습된 시뮬레이션 환경에서만 훈련되며, 제로샷으로 실제 로봇에 배포 가능하다.
• 기존의 메모리 증강 네트워크를 활용하여 이력 집합을 학습함으로써, 여러 상호작용 단계 동안 부품의 정체성과 기하학적 특성을 추적한다.

실험 결과

연구 질문

• RQ1 단일 에이전트가 새로운 관절 구조를 가진 객체에서 숨겨진 기하학적 구조와 운동학적 특성을 드러내는 정보성 있는 3D 상호작용을 학습할 수 있는가?
• RQ2 연속적인 상호작용에서의 시각 관측치를 3D 공간에서 어떻게 집계하여 완전하고 가려진 부품을 재구성하고, 시간이 지남에 따라 부품 정체성을 유지할 수 있는가?
• RQ3 시뮬레이션에서 훈련된 모델이 새로운 운동학적 기구와 부품 구성 구조를 가진 실제 세계의 객체로 얼마나 잘 일반화되는가?
• RQ4 인식과 함께 3D 상호작용을 학습하는 것이 수동 관측이나 2D 행동 공간에 비해 더 나은 부품 분할 및 관절 추정 성능을 낼 수 있는가?
• RQ5 상호작용과 인식의 통합이 파이프라인 기반 기준 대비 새로운 객체 카테고리에서 성능 향상에 얼마나 기여하는가?

주요 결과

• SfA는 새로운 객체 카테고리에서 상태최저 기준 성능보다 25.4% 높은 3D IoU 성능을 기록하며, 강력한 제로샷 일반화 능력을 입증한다.
• SfA는 새로운 카테고리에서 가장 가까운 베이스라인 대비 8점 더 많은 최적의 행동 포인트를 확보하여, 3D 공간에서의 전략 학습 능력이 뛰어나다는 것을 보여준다.
• SfA는 실제 세계의 객체로 일반화된다: 시뮬레이션에서 훈련된 모델을 사용한 UR-5 로봇 시스템이 RGB-D 관측치로부터 부품과 관절을 성공적으로 탐지했다.
• 2D 행동 공간 기반의 베이스라인(예: AtP)에 비해 상당히 뛰어난 성능을 보이며, 특히 가려진 부품에서의 시야 제한으로 인해 복잡한 객체에서는 실패한다.
• 이력 집합 기법은 안경과 같은 새로운 운동학적 기구에서 mIoU 성능을 최대 16% 향상시키며, 다중 부품 객체에서 가장 뚜렷한 성능 향상을 보였다.
• 학습된 상호작용을 사용한 SfA는 진짜 행동을 사용하는 모델(SfA-Perception + GT-Act)과 유사한 성능을 기록하여, 상호작용 정책의 효과성을 입증한다.