[논문 리뷰] MVTrans: Multi-View Perception of Transparent Objects

Yi Ru Wang, Yuchi Zhao외 5명|arXiv (Cornell University)|2023. 02. 22.

Advanced Vision and Imaging인용 수 6

한 줄 요약

MVTrans는 RGB, 스테레오, 다중 시점 입력을 결합하여 투명 물체의 깊이, 세분화, 자세, 3D 경계 상자 예측을 동시에 수행하는 엔드 투 엔드 다중 시점 딥 러닝 프레임워크를 제안한다. 실수 및 합성 데이터셋에서 최신 기술(SOTA)의 RGB-D 및 스테레오 방법을 능가하며, 실제감각적인 데이터셋인 Syn-TODD를 통해 복잡한 시나리오와 다양한 투명 물체에 걸쳐 강력한 훈련과 일반화를 가능하게 한다.

ABSTRACT

Transparent object perception is a crucial skill for applications such as robot manipulation in household and laboratory settings. Existing methods utilize RGB-D or stereo inputs to handle a subset of perception tasks including depth and pose estimation. However, transparent object perception remains to be an open problem. In this paper, we forgo the unreliable depth map from RGB-D sensors and extend the stereo based method. Our proposed method, MVTrans, is an end-to-end multi-view architecture with multiple perception capabilities, including depth estimation, segmentation, and pose estimation. Additionally, we establish a novel procedural photo-realistic dataset generation pipeline and create a large-scale transparent object detection dataset, Syn-TODD, which is suitable for training networks with all three modalities, RGB-D, stereo and multi-view RGB. Project Site: https://ac-rad.github.io/MVTrans/

연구 동기 및 목표

• 표준 RGB-D 센서가 비 람베르트성 및 투명 표면 특성으로 인해 실패하는 로봇 공학 및 자동화 분야에서 투명 물체 인식의 지속적인 과제를 해결하기 위해.
• 기존의 RGB-D 및 스테레오 기반 방법의 한계를 극복하기 위해 깊이 추정, 세분화, 3D 시 scene 이해를 통합하는 엔드 투 엔드 다중 시점 아키텍처를 개발하기 위해.
• RGB, RGB-D, 스테레오, 다중 시점 모odalities를 포함한 풍부한 애너테이션을 갖춘 대규모, 실제감각적인, 다양한 합성 데이터셋(Syn-TODD)을 생성하여 강력한 훈련과 평가를 가능하게 하기 위해.
• 특히 복잡하고 가림이 많으며 혼잡한 시나리오에서 다중 시점 인식이 스테레오 또는 단일 시점 방법보다 성능을 크게 향상시킬 수 있음을 입증하기 위해.

제안 방법

• MVTrans는 다중 작업, 엔드 투 엔드 딥 네ural 네트워크를 사용하며, 여러 개의 RGB 이미지를 입력으로 받아 투명 및 불투명 물체에 대해 세분화 마스크, 깊이 맵, 3D 경계 상자, 물체 자세를 동시에 예측한다.
• 모델은 다중 시점 기하학과 시점 간 특징 융합을 활용하여 3D 인식 성능을 향상시키며, 상용 RGB-D 센서에서 유도된 신뢰할 수 없는 깊이 맵에 대한 의존도를 감소시킨다.
• 실제감각적인 물체와 시나리오의 물리적 특성, 다양한 시나리오 변화를 갖춘 투명 물체를 프로시저럴하게 생성할 수 있는 새로운 프로시저럴 실제감각 데이터셋 생성 파이프라인을 도입한다.
• 1,996개의 실제감각적인 테이블탑 시나리오와 각 시나리오당 57개의 완전 애너테이션된 시점으로 구성된 대규모 데이터셋인 Syn-TODD를 제작하여 다중 모달리티에서의 훈련 및 평가를 지원한다.
• 세분화, 깊이, 3D 검출/자세를 위한 작업별 헤드를 갖춘 공유 백본 아키텍처를 사용하여 다양한 인식 작업 간의 공동 최적화를 가능하게 한다.
• 모델 일반화 및 시뮬레이션에서 실제 환경으로의 전이 성능 향상을 위해 데이터셋 생성 과정에서 도메인 랜덤라이제이션과 프로시저럴 시나리오 생성을 활용한다.

실험 결과

연구 질문

• RQ1 다중 시점 학습 프레임워크가 깊이 추정, 세분화, 3D 자세 예측와 같은 투명 물체 인식 작업에서 스테레오 및 RGB-D 기반 방법을 능가할 수 있는가?
• RQ2 복잡하고 가림이 많으며 혼잡한 시나리오에서 다수의 투명 물체가 존재할 경우, 입력 시점 수를 늘릴수록 성능에 어떤 영향을 미치는가?
• RQ3 대규모, 실제감각적인 합성 데이터셋(Syn-TODD)이 다중 시점 투명 물체 인식 모델의 일반화 및 강건성에 어느 정도 기여하는가?
• RQ4 투명 물체 인식에서 엔드 투 엔드 다중 작업 학습 접근 방식이 순차적 또는 다단계 파이프라인보다 더 높은 성능을 낼 수 있는가?

주요 결과

• MVTrans는 실수 데이터셋(KeyPose)과 합성 데이터셋(Syn-TODD) 모두에서 깊이 추정, 세분화, 3D 자세 예측 등 모든 인식 작업에서 최신 기술(SOTA)의 RGB-D 및 스테레오 기반 모델을 능가한다.
• 다섯 시점 버전의 MVTrans가 가장 높은 성능을 기록하였으며, 특히 다수의 투명 물체가 존재하는 복잡한 시나리오에서 이중 시점 및 스테레오 기반 모델 대비 뚜렷한 성능 향상을 보였다.
• Syn-TODD 데이터셋에서 MVTrans는 3D 경계 상자 AP 58.7%와 자세 추정 AP 62.1%를 기록하여 도전적인, 다양한, 복잡한 시나리오에서 뛰어난 성능을 입증했다.
• 제거 분석 결과, 시점 수를 늘일수록 성능 향상이 나타나며, 특히 3D 작업(예: 3D 경계 상자 추정)에서 두드러진다. 반면 2D 세분화 작업은 본질적으로 2D 성격을 지녀 성능 향상 폭이 미미하다.
• Syn-TODD로 훈련된 MVTrans는 실세계 데이터로의 일반화가 잘 되었으며, KeyPose와 같은 실세계 데이터셋으로 훈련된 모델보다 뛰어난 성능을 보였다. 이는 합성 데이터 파이프라인의 효과성을 시사한다.
• 제안된 Syn-TODD 데이터셋은 기존 데이터셋 대비 더 높은 시나리오 복잡도, 더 큰 물체 다양성, 더 풍부한 애너테이션을 제공하여 더 강력한 모델 훈련과 평가를 가능하게 한다.