[논문 리뷰] CloudAAE: Learning 6D Object Pose Regression with On-line Data Synthesis on Point Clouds

Ge Gao, Mikko Lauri외 3명|arXiv (Cornell University)|2021. 03. 02.

Robot Manipulation and Learning참고 문헌 35인용 수 4

한 줄 요약

이 논문은 깊이 점군을 사용하여 자세를 회귀하는 경량의 온라인 데이터 합성 파이pline과 보완된 오토에인코더(AAE)를 활용한 6차원 물체 자세 추정 시스템인 CloudAAE를 제안한다. 이 시스템은 자세에 영향을 받지 않는 잠재 코드를 학습한다. 이 방법은 LineMOD에서 RGB 기반 PBR 방법보다 최대 1,000배 빠른 속도로 훈련 데이터를 생성하면서도, 합성 데이터만을 사용하는 방법 중 최고 성능을 달성한다.

ABSTRACT

It is often desired to train 6D pose estimation systems on synthetic data because manual annotation is expensive. However, due to the large domain gap between the synthetic and real images, synthesizing color images is expensive. In contrast, this domain gap is considerably smaller and easier to fill for depth information. In this work, we present a system that regresses 6D object pose from depth information represented by point clouds, and a lightweight data synthesis pipeline that creates synthetic point cloud segments for training. We use an augmented autoencoder (AAE) for learning a latent code that encodes 6D object pose information for pose regression. The data synthesis pipeline only requires texture-less 3D object models and desired viewpoints, and it is cheap in terms of both time and hardware storage. Our data synthesis process is up to three orders of magnitude faster than commonly applied approaches that render RGB image data. We show the effectiveness of our system on the LineMOD, LineMOD Occlusion, and YCB Video datasets. The implementation of our system is available at: https://github.com/GeeeG/CloudAAE.

연구 동기 및 목표

• 6차원 자세 추정을 위한 RGB 기반 합성 데이터의 높은 비용과 도메인 갭 문제를 해결하기 위해.
• 텍스처 없는 3D 모델과 원하는 시점 뿐만으로도 충분히 빠르게 훈련 데이터를 생성하면서도, 깊이 기반 점군을 사용해 높은 자세 추정 정확도를 유지하기 위해.
• 텍스처 없는 3D 모델과 원하는 시점 뿐만으로도 작동하는 경량의 온라인 데이터 합성 파이프라인을 개발하기 위해.
• 오직 자세에만 관련된 특징만 포함하는 잠재 코드를 갖춘 AAE에서 유도된 잠재 코드를 사용해 정확한 6차원 자세 회귀를 가능하게 하기 위해.
• LineMOD과 같은 벤치마크 데이터셋에서 합성 데이터만을 사용해 최고 성능을 달성하기 위해.

제안 방법

• 시스템은 점군 기반 보완된 오토에인코더(AAE)를 사용하여, 입력 증강을 통해 비자세 관련 변형에 대해 불변인 잠재 코드를 학습한다.
• AAE는 노이즈 및 가림이 없는 점군 세그먼트를 원하는 6차원 자세로 재구성하여, 잠재 코드가 자세와 관련된 정보만 포함하도록 보장한다.
• 잠재 코드는 3차원 회전과 3차원 이동을 별도로 추론하기 위해 두 개의 별도 딥 네트워크에 입력된다.
• 온라인 데이터 합성 파이프라인은 텍스처 없는 3D 모델과 원하는 시점 뿐만으로도 합성 점군 세그먼트를 생성하여 고비용의 PBR 렌더링을 피한다.
• 1개의 GPU에서 128개 세그먼트당 30ms 이내로 합성 데이터를 생성할 수 있으며, 13개의 물체와 10만 개의 자세에 대해 단지 128MB의 스토리지만 필요하다.
• 예측 후 표준 ICP 정밀 조정을 사용하여 정확도를 향상시키며, 추가로 0.02초의 추론 비용이 발생한다.

Figure 1: Left, Data synthesis pipeline. The input for our on-line training pipeline is a 3D object model $P^{O}$ with class information, and the desired 3D rotation $R$ and translation $\mathbf{t}$ . $P^{O}$ is at object coordinate $O$ . With $R$ and $\mathbf{t}$ , the object model is first transfo

실험 결과

연구 질문

• RQ1 경량의 온라인 점군 합성 파이프라인은 6차원 자세 추정을 위해 고비용의 PBR 기반 RGB 렌더링을 대체할 수 있는가?
• RQ2 AAE 기반의 잠재 코드는 점군 내 다른 변형에서 자세 정보를 효과적으로 분리하는가?
• RQ3 합성 깊이 점군만으로 훈련된 6차원 자세 추정기의 성능이 실제 벤치마크에서 최고 수준에 도달할 수 있는가?
• RQ4 합성 훈련 데이터의 양과 잠재 코드 차원 수가 일반화 및 정확도에 어떤 영향을 미치는가?
• RQ5 합성 데이터와 실제 데이터 사이의 도메인 갭이 성능에 미치는 영향은 어느 정도이며, 깊이 기반 합성으로 이를 완화할 수 있는가?

주요 결과

• LineMOD 데이터셋에서 제안된 방법은 물체당 10만 개의 합성 샘플만을 사용해 평균 ADD-S 정확도 82.1%를 달성하였으며, 다른 합성 전용 방법들을 능가한다.
• 클래스당 10만 개의 샘플을 사용할 경우 모델은 거의 최적의 성능을 달성한다. 100만 개로 증가해도 추가로 성능 향상이 없어, 데이터 효율성이 뛰어나다.
• 1024차원의 잠재 코드에서 일반화 성능이 가장 우수하며, 이는 회전 및 이동 추론 모두 최적의 성능을 기록한다.
• 시스템의 합성 데이터 생성 속도는 PBR 기반 RGB 렌더링 대비 최대 1,000배 빠르며, 13개의 물체와 10만 개의 자세에 대해 단지 128MB의 스토리지만 필요하다.
• YCB-Video에서, 제안된 파이프라인에서 생성된 합성 데이터를 사용할 경우, RGBD 기반 방법들(예: DenseFusion, PVN3D)과 유사한 성능을 달성한다.
• T-SNE 시각화 결과는 학습된 잠재 코드가 각 물체 클래스별로 잘 군집되어 있음을 확인하여 효과적인 자세 인코딩이 이루어졌음을 시사한다.

Figure 2: Point cloud based Augmented Autoencoder. The numbers of neurons in EC-MLP and MLP layers are indicated in parentheses. EC is short for EdgeConv. Dimensions of intermediate features are indicated without parentheses. Skip connections denote the concatenation of edge features. For the encode