[논문 리뷰] Pre-train, Self-train, Distill: A simple recipe for Supersizing 3D Reconstruction

Kalyan Vasudev Alwala, Abhinav Gupta외 1명|arXiv (Cornell University)|2022. 04. 07.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 합성 3D 데이터에서의 사전 훈련, 다양한 실외 이미지 컬렉션에서의 자기 훈련(자기 학습), 그리고 단일 고용량 모델로의 지식 정복을 포함하는 세 단계 훈련 레시피를 통해 통합된 3D 재구성 모델을 제안한다. 이 방법은 150개 이상의 객체 카테고리에서 최신 기술 수준의 성능을 달성하며, 훈련된 카테고리 외의 카테고리에 대해서도 강력한 제로샷 일반화 성능을 보이며, 더 많은 훈련 카테고리로 인해 재구성 품질이 크게 향상된다.

ABSTRACT

Our work learns a unified model for single-view 3D reconstruction of objects from hundreds of semantic categories. As a scalable alternative to direct 3D supervision, our work relies on segmented image collections for learning 3D of generic categories. Unlike prior works that use similar supervision but learn independent category-specific models from scratch, our approach of learning a unified model simplifies the training process while also allowing the model to benefit from the common structure across categories. Using image collections from standard recognition datasets, we show that our approach allows learning 3D inference for over 150 object categories. We evaluate using two datasets and qualitatively and quantitatively show that our unified reconstruction approach improves over prior category-specific reconstruction baselines. Our final 3D reconstruction model is also capable of zero-shot inference on images from unseen object categories and we empirically show that increasing the number of training categories improves the reconstruction quality.

연구 동기 및 목표

• 수백 개의 객체 카테고리에 걸쳐 단일 시각 3D 재구성의 확장성과 일반화 갭을 해결하기 위해 수백 개의 객체 카테고리에 걸쳐 통합된 모델을 학습하는 것.
• 공유되는 3D 사전 지식이 없고 광범위한 정규화가 필요한 카테고리별 모델의 한계를 극복하는 것.
• 전경 마스크에서만 약한 지도 신호를 사용하여, 훈련된 바 없는 객체 카테고리에 대해서도 제로샷 3D 재구성을 가능하게 하는 것.
• 훈련 카테고리의 수를 늘릴수록 일반화 능력과 재구성 품질이 향상됨을 보여주는 것.

제안 방법

• 합성 다중 시점 렌더링 데이터에서 3D 재구성 모델을 사전 훈련하여 강력한 3D 사전 지식을 학습하는 것.
• 전경 마스크 애너테이션만을 지도로 사용하여 실외 이미지 컬렉션에서 카테고리별 모델을 자기 훈련하는 것.
• 각 카테고리별 모델에서 지식을 단일 고용량 3D 재구성 네트워크로 정복하는 것.
• 카테고리 간 공유되는 구조적 사전 지식을 활용하여 일반화 능력을 향상시키고, 적대적 또는 형태 변형 가능한 사전 지식에 대한 의존도를 줄이는 것.
• 통합 모델을 엔드 투 엔드로 훈련하여 훈련된 바 없는 카테고리에 대해 제로샷 추론을 가능하게 하는 것.
• 반복 최소 거리(Iterative Closest Point, ICP)를 사용하여 예측값을 진짜값과 정렬하고, Chamfer 거리 및 IoU 메트릭을 사용하여 평가하는 것.

실험 결과

연구 질문

• RQ1 2D 마스크 지도만을 사용하여 하나의 통합된 3D 재구성 모델이 수백 개의 다양한 객체 카테고리에 걸쳐 일반화할 수 있는가?
• RQ2 합성 데이터에서의 사전 훈련이 약한 지도 신호를 사용하는 3D 학습의 일반화 능력 향상과 안정성 향상에 기여하는가?
• RQ3 자기 훈련과 지식 정복이 추가 정규화 없이 카테고리별 모델에서 통합 모델로 지식을 효과적으로 전달할 수 있는가?
• RQ4 훈련 카테고리의 수가 훈련되지 않은 카테고리에 대한 제로샷 일반화에 어떤 영향을 미치는가?
• RQ5 통합 모델이 도메인 내 및 제로샷 설정에서 모두 카테고리별 기준 모델을 능가할 수 있는가?

주요 결과

• 통합 모델은 Pascal3D+와 Co3D에서 최신 기술 수준의 성능을 달성하며, 평균 Chamfer 거리는 0.48, IoU는 0.42로 이전의 카테고리별 기준 모델을 능가한다.
• 훈련 카테고리의 수가 많아질수록 제로샷 재구성 성능이 크게 향상된다: 훈련된 카테고리 수가 125개 이상일 경우, 훈련되지 않은 Co3D 카테고리에서의 평균 Chamfer 손실이 합성 기준 모델의 0.368에서 0.239로 감소한다.
• 모델은 훈련된 바 없는 카테고리로 일반화되며, 다양한 클래스에서 학습된 공유 3D 사전 지식이 의미 있는 제로샷 3D 추론을 가능하게 한다.
• 자기 훈련 및 정복 파이프라인은 적대적 또는 형태 변형 가능한 사전 지식 없이도 안정적이고 뛰어난 성능을 달성하는 데 기여한다.
• 정성적 결과는 의자, 자동차, 플라워 빈 등 복잡한 형태의 객체 카테고리에 걸쳐 고품질의 3D 재구성 결과를 보여준다.
• 실패 사례로는 가림되거나 매우 변형이 큰 객체에서의 성능 저하가 관찰되어, 복잡한 실세계 이미지의 변형을 다루는 데 한계가 있음을 시사한다.