[논문 리뷰] Self-supervised Learning of 3D Objects from Natural Images

Hiroharu Kato, Tatsuya Harada|arXiv (Cornell University)|2019. 11. 20.

3D Shape Modeling and Analysis참고 문헌 49인용 수 8

한 줄 요약

이 논문은 3D 레이블 없이 분류된 자연 이미지에서 단일 시각 3D 재구성에 대한 자기지도 학습 방법을 제안한다. 이는 두 단계 학습 과정을 사용한다: 고정된 자세와 질감을 가진 카테고리별 기본 형태를 먼저 학습하고, 이후 자세와 질감을 정밀하게 보정한다. 이 방법은 3D 지도 학습 없이 CIFAR-10과 PASCAL 3D+에서 의미 있는 3D 재구성을 달성하여, 합성 데이터셋을 초월한 다양한 실제 세계 카테고리에 대한 가능성을 입증한다.

ABSTRACT

We present a method to learn single-view reconstruction of the 3D shape, pose, and texture of objects from categorized natural images in a self-supervised manner. Since this is a severely ill-posed problem, carefully designing a training method and introducing constraints are essential. To avoid the difficulty of training all elements at the same time, we propose training category-specific base shapes with fixed pose distribution and simple textures first, and subsequently training poses and textures using the obtained shapes. Another difficulty is that shapes and backgrounds sometimes become excessively complicated to mistakenly reconstruct textures on object surfaces. To suppress it, we propose using strong regularization and constraints on object surfaces and background images. With these two techniques, we demonstrate that we can use natural image collections such as CIFAR-10 and PASCAL objects for training, which indicates the possibility to realize 3D object reconstruction on diverse object categories beyond synthetic datasets.

연구 동기 및 목표

• 3D 지도 학습 없이 분류된 자연 이미지에서 객체의 형태, 자세, 질감을 자기지도 학습으로 재구성할 수 있도록 하는 것.
• 학습 설계와 정규화를 통해 단일 시각 3D 재구성 문제의 불안정한 성격을 해결하기 위해 구조적 인도적 편향을 도입하는 것.
• ShapeNet과 같은 합성 데이터셋을 초월해 다양한 객체 카테고리가 자연 이미지 컬렉션만으로도 학습될 수 있음을 보여주는 것.
• 비용이 많이 드는 3D 애너테이션에 대한 의존도를 줄이기 위해 이미지 수준의 카테고리 레이블과 자연 이미지 데이터만을 활용하는 것.

제안 방법

• 두 단계 학습 전략: 고정된 자세 분포와 간단한 질감을 가진 카테고리별 기본 형태를 먼저 학습하고, 이후 학습된 기본 형태를 기반으로 자세와 질감을 정밀하게 보정한다.
• 렌더링-비교 손실 사용: 추정된 3D 형태, 자세, 질감, 배경으로부터 이미지를 재구성하고, 사전 훈련된 이미지 특징을 사용해 특징 수준의 재구성 오차를 최소화한다.
• 형태 표면에 강한 정규화를 적용하여 매끄럽게 하고 배경 질감에 대한 과적합을 방지한다.
• 배경 단순성 강화를 위해 배경 이미지가 저복잡도가 되도록 정규화하여 임의의 재구성 결과를 줄인다.
• 3D 파라미터에서 이미지를 생성할 수 있는 미분 가능한 렌더러를 사용하여 엔드 투 엔드 최적화를 가능하게 한다.
• 사전 훈련된 특징 추출기(예: AlexNet)를 활용해 중간 특징 맵에서 재구성 오차를 계산하여 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 3D 지도 학습 없이 자연 이미지에서 형태, 자세, 질감을 재구성할 수 있는가?
• RQ2 ShapeNet과 같은 합성 데이터셋을 초월해 다양한 객체 카테고리에 대해 자기지도 학습 방법이 일반화 가능한가?
• RQ3 예를 들어 단일 객체로 이미지를 덮거나 객체를 한 픽셀로 압축하는 등의 비의미적인 해법을 자기지도 3D 재구성에서 방지할 수 있는가?
• RQ4 형태 유사성, 표면 매끄러움, 배경 단순성 등의 구조적 사전 지식이 자기지도 3D 학습에 얼마나 기여하는가?
• RQ5 기본 형태에 초점을 맞춘 두 단계 학습 전략이 3D 재구성의 안정성과 품질을 향상시키는가?

주요 결과

• CIFAR-10에서 경쟁적인 3D 재구성 품질을 달성했으며, 검증 세트에서 평균 자세 추정 정확도가 0.65를 기록했다.
• PASCAL 3D+에서는 검증 세트에서 자세 추정 정확도가 0.38를 기록하여 실제 세계 객체 카테고리로의 일반화 능력을 입증했다.
• PASCAL 3D+에서 자동차, 의자, 말에 대해 타당한 기본 형태를 성공적으로 학습했지만, 자세의 불확실성이 높은 항공기의 경우 성능이 저하되었다.
• CIFAR-10에서 고양이와 강아지에 대해서는 내부 클래스 형태의 변형이 크기 때문에 일반화에 실패했으며, 이는 높은 변형성을 다루는 데 한계가 있음을 시사한다.
• 사전 훈련된 특징 기반 재구성 오차는 세부 사항을 충분히 포착하지 못해 말 다리와 같은 작은 기하학적 요소의 재구성이 열악했다.
• 형태 표면의 매끄러움 정규화의 초모수 설정에 민감하게 반응함에 따라, 객체의 자연스러움을 더 견고하게 측정할 수 있는 방법이 필요함을 시사한다.