[논문 리뷰] D$^2$IM-Net: Learning Detail Disentangled Implicit Fields from Single Images

Manyi Li, Hao Zhang|arXiv (Cornell University)|2020. 12. 11.

3D Shape Modeling and Analysis참고 문헌 4인용 수 5

한 줄 요약

D$^2$IM-Net는 이중 디코더 아키텍처를 사용하여 코arse 형상과 세밀한 기하학적 디테일을 분리하는 새로운 단일 뷰 3D 재구성 네트워크를 제안한다. 이 네트워크는 전역 및 국소 특징에서 기본 암시 필드와 두 개의 이격 지도(앞/뒤)를 예측하며, 표면 디테일을 유지하기 위해 새로운 라플라시안 기반 손실을 도입하여, 디테일에 대한 지도 학습 없이도 고해상도 재구성과 다양한 형상 간의 디테일 전이가 가능하다.

ABSTRACT

We present the first single-view 3D reconstruction network aimed at recovering geometric details from an input image which encompass both topological shape structures and surface features. Our key idea is to train the network to learn a detail disentangled reconstruction consisting of two functions, one implicit field representing the coarse 3D shape and the other capturing the details. Given an input image, our network, coined D$^2$IM-Net, encodes it into global and local features which are respectively fed into two decoders. The base decoder uses the global features to reconstruct a coarse implicit field, while the detail decoder reconstructs, from the local features, two displacement maps, defined over the front and back sides of the captured object. The final 3D reconstruction is a fusion between the base shape and the displacement maps, with three losses enforcing the recovery of coarse shape, overall structure, and surface details via a novel Laplacian term.

연구 동기 및 목표

• 기존 암시 네트워크가 잘 포착하지 못하는 표면 기하학적 특징을 포함한 세밀한 기하학적 디테일을 복구하는 데 도전하는 것.
• 지표 디테일 애너테이션을 요구하지 않고도 약한 지도 학습 방식으로 코어스 형상과 세밀한 디테일을 분리하는 것.
• 원본 이미지에서 추출한 분리된 이격 지도를 타겟 코어스 형상에 융합하여 다양한 3D 형상 간의 디테일 전이를 가능하게 하는 것.
• 서명된 거리 함수의 라플라시안을 활용하여 표면 수준 기하학을 효과적으로 포착하는 손실 함수를 개발하는 것.
• 대칭 우선 사항이나 색상/재질 정보에 의존하지 않고 13개의 ShapeNet 카테고리로 일반화하는 것.

제안 방법

• 네트워크는 단일 RGB 이미지에서 전역 및 국소 특징을 추출하기 위해 공유 인코더를 사용한다.
• 기본 디코더는 전역 특징에서 코어스 암시 필드(SDF)를 재구성하고, 디테일 디코더는 국소 특징에서 두 개의 2D 이격 지도(앞/뒤)를 예측한다.
• 최종 3D 재구성은 기본 SDF와 이격 지도를 융합하여 형성되며, 카메라 파rameters를 사용해 이격 값이 기본 형상에 투영된다.
• 이중 이격 지도에 대해 새로운 라플라시안 손실이 적용되며, SDF의 라플라시안은 局소 표면 변동에 민감하므로 이점을 활용한다.
• 세 가지 손실이 사용되며, 각각 기본 SDF 손실, 융합된 형상에 대한 전체 SDF 손실, 그리고 앞면 이격 지도에 대한 라플라시안 손실이며, 모두 엔드 투 엔드로 최적화된다.
• 디테일 전이를 위해 사전 학습된 분할 모델을 활용해 원본과 타겟 형상의 의미적 부분 간 3D 대응 관계를 설정하고, 이격 지도를 국소적으로 융합한다.

실험 결과

연구 질문

• RQ1 디테일에 대한 명시적 지도 학습 없이도 단일 뷰 3D 재구성 네트워크가 코어스 형상과 세밀한 기하학적 디테일을 효과적으로 분리할 수 있는가?
• RQ2 서명된 거리 함수의 라플라시안은 약한 지도 학습에서 표면 디테일 지도의 신뢰할 수 있는 대체 지표로 기능할 수 있는가?
• RQ3 분리된 이격 지도를 통해 다양한 3D 형상 간에 고품질의 디테일 전이가 가능하며, 타겟의 코어스 구조를 유지할 수 있는가?
• RQ4 대칭 또는 재질 우선 사항 없이도 네트워크가 다양한 13개의 형상 카테고리로 일반화되는 정도는 어느 정도인가?
• RQ5 이 방법은 약간 굴곡지거나 평면이 아닌 표면에서 표면 디테일을 얼마나 잘 복구하는가?

주요 결과

• 비주얼라이제이션을 통해 이격 지도가 기본 형상에 존재하지 않는 슬랫, 텍스처 및 세밀한 기하학적 특징을 잘 포착함을 확인하였으며, 코어스 형상과 디테일을 성공적으로 분리함을 보여준다.
• 라플라시안 손실이 앞면 이격 지도가 지표 SDF의 국소 곡률 민감도를 효과적으로 모방하도록 이끌어내며, 그 증거로 그림 3에서 이격 필드의 라플라시안과 지표 SDF 간의 높은 일치도를 확인할 수 있다.
• 디테일 전이 실험을 통해 원본 이미지의 디테일(예: 의자 슬랫)이 타겟 형상에 정확히 전이되며, 타겟의 코어스 기하학이 유지됨을 입증하였다.
• 네트워크는 '붙이기-재구성(paste-n-reconstruct)' 기능을 지원하며, 타겟 이미지에 로고를 붙인 후 이를 활용해 최종 출력에서 로고의 특징이 유지된 3D 형상을 재구성할 수 있다.
• 13개의 ShapeNet 카테고리로 일반화되며, 약간 굴곡진 표면에서는 잘 작동하지만, 매우 높이 굴곡지거나 오버행이 있는 기하학에서는 성능 저하가 발생한다.
• 제거 실험을 통해 라플라시안 손실이 표면 디테일 복구에 핵심적임을 확인하였으며, 이를 제거할 경우 세밀한 표면 특징이 손실됨을 관찰하였다.