[논문 리뷰] Curvature regularization for Non-line-of-sight Imaging from Under-sampled Data

Rui Ding, Juntian Ye외 3명|arXiv (Cornell University)|2023. 01. 01.

Advanced Optical Sensing Technologies인용 수 5

한 줄 요약

이 논문은 GPU 계산으로 가속화된 ADMM 프레임워크 내에서 물체 도메인 및 이중 도메인 곡률 정규화를 사용하여, 저샘플링된 데이터로부터 비선형 시선(NLOS) 영상 복원을 위한 곡률 정규화 기반 모델을 제안한다. 이 방법은 높은 속도로 최신 기술 수준의 복원 품질을 달성하며, 단지 4×4 샘플링 포인트로도 64×64 해상도 복원이 가능하고, 노이즈를 효과적으로 억제하며 표면 연속성을 유지한다.

ABSTRACT

Non-line-of-sight (NLOS) imaging aims to reconstruct the three-dimensional hidden scenes from the data measured in the line-of-sight, which uses photon time-of-flight information encoded in light after multiple diffuse reflections. The under-sampled scanning data can facilitate fast imaging. However, the resulting reconstruction problem becomes a serious ill-posed inverse problem, the solution of which is highly possibility to be degraded due to noises and distortions. In this paper, we propose novel NLOS reconstruction models based on curvature regularization, i.e., the object-domain curvature regularization model and the dual (signal and object)-domain curvature regularization model. In what follows, we develop efficient optimization algorithms relying on the alternating direction method of multipliers (ADMM) with the backtracking stepsize rule, for which all solvers can be implemented on GPUs. We evaluate the proposed algorithms on both synthetic and real datasets, which achieve state-of-the-art performance, especially in the compressed sensing setting. Based on GPU computing, our algorithm is the most effective among iterative methods, balancing reconstruction quality and computational time. All our codes and data are available at https://github.com/Duanlab123/CurvNLOS.

연구 동기 및 목표

• 저샘플링된 일시적 측정치로부터 NLOS 복원의 불안정한 성질로 인해 노이즈가 많고 왜곡된 복원이 발생하는 문제를 해결하기 위해.
• 표면의 매끄러움과 연속적인 구조를 유지하기 위해 곡률 정규화를 활용하여 압축 감지 환경에서의 복원 품질을 향상시키기 위해.
• 실시간 NLOS 영상 복원 응용에 적합한 빠르고 확장 가능한 알고리즘을 개발하기 위해.
• 백트래킹 스텝 사이즈 규칙을 적용한 GPU 최적화된 ADMM를 통해 기존 반복적 방법에 비해 계산 시간을 단축시키기 위해.

제안 방법

• 물체 도메인과 이중(신호 및 물체) 도메인에서 곡률 정규화 모델을 각각 도입하여 표면의 매끄러움과 신호 연속성을 함께 정규화한다.
• 고차 곡률 최소화 문제의 효율적 최적화를 위해 백트래킹 선색색 검색을 사용하는 교대 방향 방법의 다수자(ADMM)를 적용한다.
• 총 미분량의 가중치로 곡률을 모델링하여 계산을 단순화하고 수렴 속도를 향상시킨다.
• 선형화 기법을 적용하여 최적화 과정의 수렴 속도를 더욱 가속화한다.
• 계산 속도 향상을 위해 알고리즘을 GPU에 구현한다.
• 두 단계 최적화 전략을 사용한다: 먼저 물체 표면을 정규화하고, 그 다음 이중 도메인에서 신호와 물체를 함께 정밀 조정한다.

(a) Non-confocal NLOS

실험 결과

연구 질문

• RQ1 저샘플링된 NLOS 영상 복원에서 곡률 정규화가 노이즈와 제한된 데이터가 존재하는 상황에서도 복원 품질을 효과적으로 향상시킬 수 있는가?
• RQ2 물체 도메인 정규화에 비해 이중 도메인 곡률 정규화가 표면 및 신호 연속성을 얼마나 잘 유지하는가?
• RQ3 제안된 ADMM 기반 알고리즘이 NLOS 영상 복원에서 높은 복원 품질과 낮은 계산 비용을 동시에 달성할 수 있는가?
• RQ4 GPU 가속화가 곡률 기반 NLOS 복원의 런타임 성능에 얼마나 기여하는가?

주요 결과

• 제안된 curvNLOS 방법은 합성 및 실제 NLOS 데이터셋 모두에서 최신 기술 수준의 복원 품질을 달성하며, 직접적 및 반복적 방법을 뛰어넘는다. 특히 압축 감지 조건에서 뛰어난 성능을 보인다.
• 단기 노출 데이터(15초)에서는 오직 curvNLOS만 이해할 수 있는 낮은 노이즈 영상을 성공적으로 복원하며, 다른 방법들은 흐릿하거나 노이즈가 많은 결과를 낸다.
• 장기 노출 데이터(60분)에서는 모든 방법이 향상되지만, curvNLOS는 특히 미세한 에지와 구조적 세부 정보를 유지하는 데 가장 높은 정밀도를 유지한다.
• GPU로 가속화된 curvNLOS 알고리즘은 다른 반복적 방법에 비해 뚜렷이 빠르며, 시나리오의 복잡성에 관계없이 안정적이고 낮은 계산 시간을 기록한다.
• 이 방법은 단지 4×4 샘플링 포인트로도 64×64 해상도의 3D 시나리오를 복원할 수 있어 극도로 저샘플링된 상황에서도 뛰어난 성능을 보인다.
• 이중 도메인 곡률 모델은 물체 도메인 전용 접근 방식에 비해 외곽선을 줄이고 표면 연속성을 향상시킨다.

(b) Confocal NLOS