[논문 리뷰] KeyPose: Multi-View 3D Labeling and Keypoint Estimation for Transparent Objects

Xingyu Liu, Rico Jonschkowski외 2명|arXiv (Cornell University)|2019. 12. 05.

Robot Manipulation and Learning참고 문헌 36인용 수 7

한 줄 요약

KeyPose는 깊이 센서에 의존하지 않고 스테레오 기반 딥러닝 방법을 통해 투명 물체의 3D 키포인트 추정 및 자세 추정을 수행한다. 새로운 데이터 캡처 및 레이블링 파이프라인을 도입하여 48K장의 스테레오 및 RGBD 이미지를 포함한 투명 물체 데이터셋(TOD)을 구축하였으며, 스테레오 입력의 조기 융합과 다중 시점 재투영 손실 덕분에 기존 최고 성능(SOTA) 방법보다 1.5–3.5배 우수한 성능을 보이며, 지식 기반 깊이 정보를 사용하는 모델조차도 능가한다.

ABSTRACT

Estimating the 3D pose of desktop objects is crucial for applications such as robotic manipulation. Many existing approaches to this problem require a depth map of the object for both training and prediction, which restricts them to opaque, lambertian objects that produce good returns in an RGBD sensor. In this paper we forgo using a depth sensor in favor of raw stereo input. We address two problems: first, we establish an easy method for capturing and labeling 3D keypoints on desktop objects with an RGB camera; and second, we develop a deep neural network, called $KeyPose$, that learns to accurately predict object poses using 3D keypoints, from stereo input, and works even for transparent objects. To evaluate the performance of our method, we create a dataset of 15 clear objects in five classes, with 48K 3D-keypoint labeled images. We train both instance and category models, and show generalization to new textures, poses, and objects. KeyPose surpasses state-of-the-art performance in 3D pose estimation on this dataset by factors of 1.5 to 3.5, even in cases where the competing method is provided with ground-truth depth. Stereo input is essential for this performance as it improves results compared to using monocular input by a factor of 2. We will release a public version of the data capture and labeling pipeline, the transparent object database, and the KeyPose models and evaluation code. Project website: https://sites.google.com/corp/view/keypose.

연구 동기 및 목표

• 스테레오 RGB 입력을 사용한 투명 물체 3D 자세 추정을 위한 대규모 실세계 데이터셋의 부족 문제를 해결한다.
• 로봇 스캐닝 파이프라인을 활용해 깊이 정보 없이도 투명 및 불투명 물체의 3D 키포인트를 실용적으로 레이블링할 수 있는 방법을 개발한다.
• 스테레오 RGB 입력만을 사용하여 3D 물체 자세를 예측하는 딥러닝 모델 KeyPose를 개발하고, 투명 물체에서 최고 성능을 달성한다.
• 지식 기반 깊이 또는 CAD 모델이 없이도 새로운 무늬, 자세, 그리고 미리 보지 않은 물체 인스턴스로의 일반화를 가능하게 한다.
• 스테레오 입력이 단일 카메라 입력보다 성능을 얼마나 향상시키는지, 심지어 경쟁 방법들이 지식 기반 깊이를 사용하는 경우에도 확인한다.

제안 방법

• 로봇 암을 사용해 투명 물체와 그 불투명한 복제물에 대해 다중 시점 스테레오-RGB 및 RGBD 시퀀스를 촬영함으로써 카메라 자세의 정밀한 정렬을 가능하게 한다.
• AprilTags와 Perspective-n-Point(PnP)를 적용하여 프레임 간 전역 카메라 자세를 추정하고, 물체 기하 구조의 정확한 3D 재구성을 가능하게 한다.
• 카메라 자세의 최대 거리 샘플링(Farthest Point Sampling, FPS)을 통해 关건 프레임을 선별하고, 이 프레임들에서 수동으로 2D 키포인트 위치를 레이블링한다.
• 알려진 카메라 자세와 물체 기하 구조를 이용해 2D 키포인트 레이블을 3D 공간으로 역투영한 후, 이를 모든 프레임으로 전파한다.
• 스테레오 이미지 쌍의 조기 융합을 사용해 RGB 입력에서 직접 3D 키포인트 좌표를 예측하는 딥 네트워크 KeyPose를 훈련시킨다.
• 3D 키포인트 회귀 손실, UV 재투영 손실, 디스parity 손실, 그리고 대칭 키포인트를 다룰 수 있는 순열 불변 손실을 조합하여 KeyPose를 최적화한다.

실험 결과

연구 질문

• RQ1 스테레오 RGB와 로봇 자세 추정만을 사용하여 투명 물체의 3D 키포인트를 실용적으로 레이블링할 수 있는 깊이 없는 파이프라인이 개발될 수 있는가?
• RQ2 지식 기반 깊이를 사용하는 경쟁 방법들보다 스테레오 RGB 입력만을 사용해 훈련된 딥러닝 모델이 투명 물체 3D 자세 추정에서 최고 성능을 달성할 수 있는가?
• RQ3 조기 융합과 후기 융합을 비교할 때, 3D 키포인트 정확도와 깊이 오차에 대한 내성에 있어 어떤 것이 더 우수한가?
• RQ4 모델이 미세조정 없이도 새로운 무늬, 자세, 그리고 새로운 투명 물체에 대해 얼마나 잘 일반화되는가?
• RQ5 다중 시점 재투영 손실과 순열 불변 감독이 대칭 키포인트 구성에 대해 성능에 어떤 영향을 미치는가?

주요 결과

• KeyPose는 인스턴스 수준 자세 추정에서 3D 평균 절대 오차(MAE) 12.8 mm, 카테고리 수준 추정에서 26.4 mm를 기록하며, SOTA 방법보다 1.5~3.5배 뛰어난 성능을 보였다.
• 동일한 데이터셋에서 평가했을 때, 지식 기반 깊이를 사용하는 DenseFusion과 같은 깊이 기반 SOTA 방법을 뛰어넘었으며, 이는 스테레오 RGB가 어려운 투명 물체 시나리오에서 지식 기반 깊이보다도 우수할 수 있음을 시사한다.
• 스테레오 입력은 단일 카메라 입력 대비 성능을 2배 향상시키며, 이는 이중 시각적 단서를 통한 깊이 추정의 중요성을 강조한다.
• 절단 분석 결과, 조기 융합이 후기 융합보다 유의미하게 더 좋은 결과를 내며, 조기 융합 시 1.46 px의 디스파리티 MAE를 기록한 반면 후기 융합은 1.05 px였다.
• 투영 손실(디스파리티 손실)은 카테고리 사례에서 디스파리티 오차를 0.41 px 감소시켰으며, 이는 스테레오 기하학에 따라 0.8 m 거리에서 약 5.5 mm의 깊이 오차 감소에 해당한다.
• 순열 불변 손실은 대칭 키포인트 혼동을 효과적으로 방지하여 대칭 키포인트의 군집화를 줄이고, 나무 모델처럼 대칭적인 물체에서 정확도를 향상시켰다.