[논문 리뷰] Implicit Mesh Reconstruction from Unannotated Image Collections

Shubham Tulsiani, Nilesh Kulkarni외 1명|arXiv (Cornell University)|2020. 07. 16.

3D Shape Modeling and Analysis참고 문헌 38인용 수 17

한 줄 요약

이 논문은 단지 배경 제거 마스크만을 사용하여, 3D 모양, 텍스처 및 카메라 포즈를 추론할 수 있는 자기지도 학습 방법을 제안한다. 이는 구를 변형하여 3D 모양을 생성하는 학습된 암묵적 함수를 사용하며, 텍스처와 카메라 포즈를 예측한다. 강한 지도 학습이 필요로 하지 않음에도 불구하고, 30개의 다양한 물체 카테고리에 걸쳐 의미 있는 모양과 텍스처 재구성을 통해 경쟁적인 성능을 달성한다.

ABSTRACT

We present an approach to infer the 3D shape, texture, and camera pose for an object from a single RGB image, using only category-level image collections with foreground masks as supervision. We represent the shape as an image-conditioned implicit function that transforms the surface of a sphere to that of the predicted mesh, while additionally predicting the corresponding texture. To derive supervisory signal for learning, we enforce that: a) our predictions when rendered should explain the available image evidence, and b) the inferred 3D structure should be geometrically consistent with learned pixel to surface mappings. We empirically show that our approach improves over prior work that leverages similar supervision, and in fact performs competitively to methods that use stronger supervision. Finally, as our method enables learning with limited supervision, we qualitatively demonstrate its applicability over a set of about 30 object categories.

연구 동기 및 목표

• 단일 RGB 이미지에서 카테고리 수준의 이미지 컬렉션과 근사한 인스턴스 세그멘테이션만을 사용하여 3D 모양, 텍스처 및 카메라 포즈 추론을 가능하게 한다.
• 3D 재구성에서 강한 지도 학습, 즉 3D 애너테이션, 2D 키포인트 또는 포즈 레이블이 필요로 하지 않도록 한다.
• 포즈 및 변형과 같은 인스턴스 수준의 변형을 포괄하는 카테고리 특화의 암묵적 모양 공간을 학습한다.
• 직접적인 지도 학습 없이 기하학적 일관성과 재투영 손실을 통해 지도 신호를 유도한다.
• 실제로는 약한 애너테이션만을 사용하는 자연계 이미지 컬렉션을 활용하여 다양한 물체 카테고리로 3D 재구성을 스케일링한다.

제안 방법

• 구를 변형하여 예측 메시로 만드는 이미지 조건부 암묵적 함수로 3D 모양을 표현하며, 학습된 텍스처 예측 기능을 함께 사용한다.
• 렌더링된 예측과 입력 이미지 간의 일致성을 다르능 렌더링 손실을 통해 강제한다.
• 국소 픽셀-표면 매핑과 전역 3D 모양 예측 간의 기하학적 사이클 일관성 손실을 도입하여 기하학적 정확도를 향상시킨다.
• 카테고리당 하나의 3D 템플릿을 초기화로 사용하고, 이미지 컬렉션에서 엔드 투 엔드 학습을 통해 이를 미세조정한다.
• 재투영 정확도, 경계 일치, 강성 우선순위를 포함하는 다중 구성 요소 손실을 최적화하여 일반화 성능을 향상시킨다.
• 약한 지도 학습을 위해 배경 마스크를 활용하고, 학습 중에 카메라 포즈를 암묵적으로 추론한다.

실험 결과

연구 질문

• RQ1 비정규화된 이미지 컬렉션과 배경 마스크만을 지도로 사용할 때, 3D 모양, 텍스처 및 카메라 포즈를 정확하게 추론할 수 있는가?
• RQ2 직접적인 지도 학습 없이, 국소 픽셀-표면 매핑과 전역 3D 예측 간의 기하학적 일관성을 어떻게 활용하여 3D 재구성을 향상시킬 수 있는가?
• RQ3 약한 지도 학습만을 사용할 때, 암묵적 모양 표현이 포즈 및 변형과 같은 인스턴스 수준의 변형을 얼마나 잘 포괄할 수 있는가?
• RQ4 2D 키포인트나 3D 템플릿과 같은 더 강한 지도 학습을 사용하는 이전 방법들과 비교해 성능는 어떻게 되는가?
• RQ5 이 방법은 3D 데이터가 전혀 애너테이션되지 않은 카테고리들 사이에서도 일반화 가능한가?

주요 결과

• PASCAL3D+에서 평균 IoU가 항공기의 경우 0.44, 자동차의 경우 0.66로, 더 강한 지도 학습을 사용하는 방법들과 경쟁하거나 이를 초월하는 3D 재구성 성능을 달성한다.
• 세분화 키포인트 재투영 성능에서 54.1% PCK-P와 41.3% PCK-T를 기록하여 이전의 약한 지도 학습 방법들을 능가한다.
• 절단 실험 결과, 기하학적 일관성 손실(Lgcc)을 제거할 경우 성능이 50.5% PCK-P로 떨어지며, 이는 그 중요성을 확인한다.
• 경계 일치 및 강성 우선순위가 복잡한 형태와 가림을 다룰 때 특히 효과적으로 품질을 향상시킨다.
• ImageNet의 30개의 다양한 카테고리에 대해 PointRend를 통해 자동으로 생성된 마스크만을 사용하여도, 신체 형태나 머리 포즈와 같은 변형을 잘 포착하며 효과적으로 일반화된다.
• 직접적인 지도 학습 없이도, 보이는 영역과 보이지 않는 영역 모두에 의미 있는 텍스처를 생성함으로써, 강력한 암묵적 텍스처 학습 능력을 보여준다.