[논문 리뷰] Deep Learning-based Single-Shot Composite Fringe Projection Profilometry with Pixel-Wise Uncertainty Quantification

Kong X-L, Qingkang Bao외 3명|arXiv (Cornell University)|2026. 01. 05.

Optical measurement and interference techniques인용 수 0

한 줄 요약

본 논문은 단일 합성 프린지에서 절대 위상을 재구성하고 신뢰도 평가를 위한 픽셀 단위의 불확실성 맵을 제공하는 이분산 스냅샷 앙상블 네트워크인 HSURE-CFPP를 소개한다.

ABSTRACT

Driven by the growing demand for high-speed 3D measurement in advanced manufacturing, optical metrology algorithms must deliver high accuracy and robustness under dynamic conditions. Fringe projection profilometry (FPP) offers high precision, yet the 2pi ambiguity of the wrapped phase means that conventional absolute phase recovery typically relies on multiple coded patterns, sacrificing temporal resolution. Deep learning-based composite FPP (CFPP) shows promise for single-shot phase recovery from a composite fringe, but limited interpretability makes it difficult to assess reconstruction reliability or trace error sources in the absence of ground truth. To address this, we propose HSURE-CFPP (Heteroscedastic Snapshot-ensemble Uncertainty-aware Ratio Estimation for CFPP). HSURE-CFPP predicts the numerator-denominator ratio used for wrapped-phase computation with a heteroscedastic snapshot-ensemble network, enabling ultra-fast 3D imaging from a single composite fringe and producing pixel-wise uncertainty maps for confidence assessment and unreliable-region identification. Specifically, a heteroscedastic likelihood jointly estimates pixel-wise noise variance to capture data uncertainty, while a snapshot ensemble quantifies model uncertainty via dispersion across snapshots, yielding total predictive uncertainty as an interpretable reliability measure. Experiments on static and dynamic scenes demonstrate that HSURE-CFPP achieves high-accuracy reconstruction at high speed and that the predicted uncertainty correlates well with reconstruction errors, providing a deployable quality-assessment mechanism for deep-learning-based FPP.

연구 동기 및 목표

• 동적 조건에서 높은 정확도로 실시간 3D 측정을 가능하게 한다.
• 딥러닝 기반 프린지 프로젝션 프로파일러(FPP)에 대한 불확실성 정량화를 제공한다.
• 합성 프린지 패턴으로부터 신뢰할 수 있는 단일 촬영 절대 위상 회복을 가능하게 한다.
• 실제 상황의 많은 경우에 대해 실제 데이터 없이도 배치 가능한 빠르고 해석 가능한 방법을 개발한다.

제안 방법

• 하위 주파수 계층 구성 합성 프린지(HFCF)를 투사하여 한 프레임에 여러 위상 신호를 인코딩한다.
• HSU-Net(이질성 회귀 헤드를 갖춘 U-Net 기반 백본)을 사용하여 래핑된 위상 구성요소(N, D)에 대한 픽셀 단위 평균 및 로그 분산을 예측한다.
• 다중 학습 에포크에 걸친 스냅샷 앙상블을 적용하여 베이지안 가중치 후방 확률 없이도 모델 불확실성을 정량화한다.
• 여러 변조 주파수에서 atan2(N, D)를 이용해 래핑 위상을 계산하고 세 주파수의 시간적 위상 언래핑(TPU)을 수행한다.
• 픽셀 단위 데이터 및 모델 불확실성을 1차 오차 전파를 통해 전달하여 픽셀 단위 위상 불확실성 맵을 얻는다.
• 평균에 대한 MSE와 불확실성에 대한 이분산 NLL의 혼합 손실로 학습하여 분산을 보정한다.
• 스펙트럴 에일리어싱을 최소화하고 TPU 강인성을 높이기 위해 HFCF의 주파수를 설계한다.

실험 결과

연구 질문

• RQ1 단일 촬영 합성 프린지 패턴이 TPU를 사용한 정확한 절대 위상 회복을 가능하게 할 수 있는가?
• RQ2 이분산 스냅샷 앙상블 네트워크가 CFPP 출력에 대해 신뢰할 수 있는 픽셀 단위 불확실성 맵을 제공할 수 있는가?
• RQ3 제안된 HSURE-CFPP 프레임워크가 정적 및 동적 장면에서 신뢰가능한 해석 가능한 신뢰도 지표를 생성하면서 어떻게 성능을 발휘하는가?
• RQ4 주파수의 spectral leakage 및 재구성 안정성에 대해 체계적으로 설계된 계층 주파수의 영향은 무엇인가?
• RQ5 ground-truth 3D 데이터가 없는 경우 불확실성 출력이 품질 평가에 유용한가?

주요 결과

• HSURE-CFPP는 단일 합성 프린지로부터 빠르고 높은 정확도의 3D 재구성을 달성한다.
• 픽셀 단위 불확실성 맵은 재구성 오차와의 상관관계가 있어 ground-truth 없이도 신뢰도 평가를 가능하게 한다.
• 스냅샷 앙상블과 이분산 모델링은 각 픽셀에서 해석 가능한 총 불확실성을 제공한다.
• HFCF 설계는 스펙트럴 에일리어싱을 감소시키고 절대 위상 회복을 위한 강력한 TPU를 지원한다.
• 위상으로의 불확실성 전파는 재구성 가중치에 적합한 위상 도메인 신뢰도 맵을 산출한다.