[논문 리뷰] Hybrid Mesh-neural Representation for 3D Transparent Object Reconstruction

Jiamin Xu, Zihan Zhu외 2명|arXiv (Cornell University)|2022. 03. 23.

Advanced Vision and Imaging인용 수 14

한 줄 요약

이 논문은 자연 조명 하에서 휴대용 카메라 영상로부터 3D 투명 물체를 재구성하기 위해 명시적 기초 메시와 표면 기반 국소 MLP를 결합한 하이브리드 메시-신경 표현을 제안한다. 실루엣 유도 메시 상의 국소화된 MLP를 통해 정점 이동 필드(VDF)를 인코딩함으로써, 엄격한 레이-픽셀 대응을 완화한 미분 가능 렌더링을 가능하게 하여, 단순화된 촬영 설정과 최신 기술 대비 뛰어난 성능을 달성한 고해상도 재구성 결과를 도출한다.

ABSTRACT

We propose a novel method to reconstruct the 3D shapes of transparent objects using hand-held captured images under natural light conditions. It combines the advantage of explicit mesh and multi-layer perceptron (MLP) network, a hybrid representation, to simplify the capture setting used in recent contributions. After obtaining an initial shape through the multi-view silhouettes, we introduce surface-based local MLPs to encode the vertex displacement field (VDF) for the reconstruction of surface details. The design of local MLPs allows to represent the VDF in a piece-wise manner using two layer MLP networks, which is beneficial to the optimization algorithm. Defining local MLPs on the surface instead of the volume also reduces the searching space. Such a hybrid representation enables us to relax the ray-pixel correspondences that represent the light path constraint to our designed ray-cell correspondences, which significantly simplifies the implementation of single-image based environment matting algorithm. We evaluate our representation and reconstruction algorithm on several transparent objects with ground truth models. Our experiments show that our method can produce high-quality reconstruction results superior to state-of-the-art methods using a simplified data acquisition setup.

연구 동기 및 목표

• 굴절과 반사로 인해 복잡해지는 빛의 경로로 인해 기존 방법이 어려움을 겪는 자연 조명 하에서의 투명 물체 3D 재구성 문제를 해결하기 위해.
• 테이블 회전 장치나 캘리브레이션된 배경 패턴과 같은 제어된 촬영 환경에 대한 의존도를 줄여 저비용, 휴대용 촬영을 가능하게 하기 위해.
• 명시적 메시 기하학과 정점 이동 필드(VDF)를 통한 표면 세부 정보의 신경 표현을 조합하여 재구성 품질을 향상시키기 위해.
• 레이-셀 대응을 도입하여 엄격한 레이-픽셀 대응 제약 조건을 완화함으로써 환경 매트팅과 최적화를 단순화하기 위해.
• 체적 표현 대신 메시 클러스터에 국소 MLP를 사용함으로써 최적화 속도를 가속화하고 강건성을 향상시키기 위해.

제안 방법

• 메서드는 IDR를 사용하여 단지 실루엣 손실만을 고려한 다중 시점 실루엣 기반 초기 메시 재구성으로 시작되며, 신경 렌더러는 생략된다.
• 초기 메시는 단순화되고 정규화된 후 클러스터로 분할되며, 각 클러스터에는 국소 정점 이동 필드(VDF)를 표현하기 위한 이중층 국소 MLP가 할당된다.
• 정점 이동은 인접한 국소 MLP의 출력을 융합하여 계산되며, 기울기 전파를 통해 전역적인 매끄러움 제약 조건을 구현한다.
• 새로운 레이-셀 대응이 도입되어, 엄격한 레이-픽셀 대응을 동적 배경 패턴 상의 색상 칸으로 대체함으로써 촬영 복잡성을 감소시킨다.
• 미분 가능 경로 추적 렌더링을 사용하여 VDF를 최적화하며, 손실은 영상의 광학 일致성과 환경 매트팅 결과에 기반한다.
• 융합 모듈은 인접한 국소 MLP 간에 기울기 정보를 확산시켜 전역 일관성을 유지하면서도 효율적이고 국소적인 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 순수 신경 또는 메시 기반 방법에 비해 하이브리드 메시-신경 표현이 자연 조명 하에서 투명 물체의 3D 재구성 품질을 향상시킬 수 있는가?
• RQ2 재구성 정밀도를 저하시키지 않고 레이-픽셀 대응 제약 조건을 얼마나 완화할 수 있는가?
• RQ3 체적 MLP에 비해 메시 표면에 국소 MLP를 사용할 경우 최적화 속도와 세부 정보 복구 능력 측면에서 어떤가?
• RQ4 레이-셀 대응을 기반으로 한 단일 영상 환경 매트팅 알고리즘은 자연 조명 하에서도 안정적으로 구현될 수 있는가?
• RQ5 기초 메시와 국소 MLP의 융합이 전역 형태 일관성을 유지하면서도 세부 구조 재구성을 가능하게 하는가?

주요 결과

• 제안된 방법은 최신 기술 대비 뛰어난 재구성 품질을 달성하였으며, 특히 자연 조명 하에서 세부 표면 구조를 잘 포착하는 데서 두드러진다.
• 국소 표면 기반 MLP를 VDF 표현에 사용함으로써 체적 MLP에 비해 더 빠른 최적화와 더 나은 세부 정보 복구 성능을 확보하였다.
• 레이-픽셀 대응에서 레이-셀 대응으로의 완화는 촬영 설정을 크게 단순화시켰으며, 테이블 회전 장치나 고정 배경 패턴 없이도 휴대용 카메라 사용이 가능하게 하였다.
• 레이-셀 대응 기반 단일 영상 환경 매트팅 알고리즘이 안정적인 결과를 도출하여 자연 영상에서 정확한 빛의 경로 추론이 가능하게 하였다.
• 융합 모듈은 국소 MLP 간에 기울기 정보를 효과적으로 전파하여 전역적인 매끄러움을 유지하면서도 국소 아티팩트를 방지하였다.
• 정답 모델에 대한 평가를 통해, 이 방법이 정량적 지표와 시각적 정확도 모두에서 기존 접근 방식을 능가함을 확인하였다.