[논문 리뷰] PIZZA: A Powerful Image-only Zero-Shot Zero-CAD Approach to 6 DoF Tracking

Van Nguyen Nguyen, Yuming Du외 3명|arXiv (Cornell University)|2022. 09. 15.

Advanced Vision and Imaging인용 수 9

한 줄 요약

PIZZA는 3D 모델, 학습 이미지, 깊이 데이터 없이도 RGB 영상만으로 이미지 중심의, 제로샷, 제로-CAD 6D 물체 자세 추적을 위한 새로운 방법을 제안한다. 두 프레임 네트워크와 도메인 랜덤라이제이션을 적용한 합성 데이터 기반의 다중 프레임 트랜스포머 인코더를 활용하여, 물체에 대한 사전 지식이 없는 상황에서도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Estimating the relative pose of a new object without prior knowledge is a hard problem, while it is an ability very much needed in robotics and Augmented Reality. We present a method for tracking the 6D motion of objects in RGB video sequences when neither the training images nor the 3D geometry of the objects are available. In contrast to previous works, our method can therefore consider unknown objects in open world instantly, without requiring any prior information or a specific training phase. We consider two architectures, one based on two frames, and the other relying on a Transformer Encoder, which can exploit an arbitrary number of past frames. We train our architectures using only synthetic renderings with domain randomization. Our results on challenging datasets are on par with previous works that require much more information (training images of the target objects, 3D models, and/or depth data). Our source code is available at https://github.com/nv-nguyen/pizza

연구 동기 및 목표

• 물체에 대한 사전 정보가 전혀 없는 오픈 월드 환경에서 6D 물체 자세 추적의 과제를 해결한다.
• 3D 모델, 깊이 데이터, 물체 전용 학습 데이터 없이도 RGB 영상만으로 제로샷, 제로-CAD 6D 추적을 가능하게 한다.
• CAD 모델, 다수의 기준 이미지, 깊이 입력을 필요로 하는 기존 방법의 한계를 극복한다.
• 다중 프레임 모델링과 인스턴스 세그멘테이션을 통해 가림과 배경의 혼잡함에 대한 강건성을 향상시킨다.
• 세분화된 트레이닝 데이터에서 실세계 테스트 시퀀스로의 일반화를 위해 피팅 조정 없이도 성능을 유지함을 입증한다.

제안 방법

• 두 가지 아키텍처를 제안한다: 연속된 두 프레임을 처리하는 네트워크와 임의의 이전 프레임 수를 처리할 수 있는 트랜스포머 기반 인코더로, 운동 추정 성능을 향상시킨다.
• 다양한 실제 환경 조건을 시뮬레이션하기 위해 도메인 랜덤라이제이션을 적용한 합성 RGB 렌더링 데이터만으로 모델을 훈련시킨다.
• 사전 학습된 인스턴스 세그멘테이션 모델(예: [13]에서 제공된 것)을 통합하여 혼잡한 배경에서 물체를 분리함으로써 운동 예측의 강건성을 향상시킨다.
• 6D 운동을 연속 프레임 간의 상대 변환으로 표현하며, 예측 간 척도 일致성을 강제한다.
• 모든 예측에서 동일한 척도 요소를 기준으로 하여 이동 거리의 크기가 일致하도록 상대 자세 표현을 적용한다.
• 반복적 정밀화를 적용한다: 초기 기준 자세에서 시작하여 예측된 상대 자세를 누적하여 전체 궤적을 추정한다.

실험 결과

연구 질문

• RQ1 3D 모델, 깊이 데이터, 물체 전용 학습 데이터 없이도 RGB 영상만으로 6D 물체 자세 추적을 달성할 수 있는가?
• RQ2 트랜스포머 인코더를 활용한 다중 프레임 모델링은 단일 프레임 처리 방법에 비해 추적 정확도를 향상시키고 드리프트를 줄이는 데 어떤 기여를 하는가?
• RQ3 인스턴스 세그멘테이션은 혼잡한 배경에서 새로운 물체를 추적할 때 성능 저하를 어느 정도 완화하는가?
• RQ4 도메인 적응 없이도 합성 트레이닝 데이터에서 실세계 벤치마크로의 일반화 능력은 어떠한가?
• RQ5 CAD 모델이 제공되지 않은 상황에서 배경의 복잡성과 가림이 제로샷 6D 추적 성능에 어떤 영향을 미치는가?

주요 결과

• 다중 프레임 트랜스포머 기반 PIZZA 버전은 Moped 및 Laval 실세계 데이터셋에서 최신 기술 수준의 성능를 달성하며, 3D 모델이나 깊이 데이터를 사용하는 기존 방법들을 능가한다.
• Laval 데이터셋에서 PIZZA의 다중 프레임 모델은 AUC (ADD) 72.2와 AUC (ADD-S) 72.2를 기록하여 MoveIt(64.7 및 69.7)를 능가하고, 한 개의 기준 이미지를 사용하는 LatentFusion과 동등한 성능를 보였다.
• 고도의 가림 상황에서도 성능 저하가 최소화되어 있어, 다른 방법들에 비해 뛰어난 강건성을 입증했다.
• 단일 기준 이미지만을 사용할 경우 LatentFusion과 유사한 성능를 기록했으며, LatentFusion가 여덟 개의 이미지를 사용할 때조차도 경쟁력 있는 성능를 유지했다.
• 두 프레임 버전은 CAD 모델이나 깊이 데이터 없이도 경쟁적인 성능를 보였으며, Moped 데이터셋에서 AUC (ADD) 47.5와 AUC (ADD-S) 47.9를 기록했다.
• Z축 이동 추정의 과제에도 불구하고, 방법은 강력한 일반화 능력을 보였으며, 마스크가 노이즈가 있는 경우에도 세그멘테이션 모듈이 강건함을 입증했다.