[논문 리뷰] iToF2dToF: A Robust and Flexible Representation for Data-Driven Time-of-Flight Imaging

Felipe Gutierrez, Huaijin Chen외 3명|arXiv (Cornell University)|2021. 03. 11.

Advanced Optical Sensing Technologies참고 문헌 60인용 수 32

한 줄 요약

이 논문은 iToF2dToF를 제안하며, 이는 빈도 보간/외삽을 통해 희소한 iToF 주파수 측정값에서 임시 이미지를 복원하는 데이터 기반 방법이다. 이는 규칙 기반 피크 탐지 방식을 통해 강인한 깊이 추정을 가능하게 한다. 재훈련 없이도 저 SNR 조건과 반사성 MPI, 광학 교차 간섭과 같은 도전적인 상황에서도 정확도를 향상시켜, 실제 세계 및 합성 데이터에서 기존 방법들을 능가하며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Indirect Time-of-Flight (iToF) cameras are a promising depth sensing technology. However, they are prone to errors caused by multi-path interference (MPI) and low signal-to-noise ratio (SNR). Traditional methods, after denoising, mitigate MPI by estimating a transient image that encodes depths. Recently, data-driven methods that jointly denoise and mitigate MPI have become state-of-the-art without using the intermediate transient representation. In this paper, we propose to revisit the transient representation. Using data-driven priors, we interpolate/extrapolate iToF frequencies and use them to estimate the transient image. Given direct ToF (dToF) sensors capture transient images, we name our method iToF2dToF. The transient representation is flexible. It can be integrated with different rule-based depth sensing algorithms that are robust to low SNR and can deal with ambiguous scenarios that arise in practice (e.g., specular MPI, optical cross-talk). We demonstrate the benefits of iToF2dToF over previous methods in real depth sensing scenarios.

연구 동기 및 목표

• 반사성 MPI 및 광학 교차 간섭과 같은 모호한 상황에서 명시적 지도 없이 작동하는 데이터 기반 iToF 방법의 한계를 해결한다.
• 중간 단계의 임시 이미지 표현을 도입하여 엔드 투 엔드 모델의 낮은 일반화 능력을 극복한다.
• 유연하고 학습 가능한 주파수 보간 프레임워크를 사용해 저 SNR 조건에서도 강인한 깊이 추정을 가능하게 한다.
• 간단한 규칙 기반 피크 탐지 알고리즘과 통합하여 실시간 성능와 적응성을 유지한다.
• 실제 세계 데이터와 현실적인 노이즈 및 복잡한 빛 전달 조건을 포함한 새로운 합성 데이터셋에서 뛰어난 성능을 입증한다.

제안 방법

• 희소한 iToF 주파수 측정값(예: 20 MHz 및 100 MHz)을 딥 네트워크에 입력하여 주파수 보간/외삽을 수행한다.
• 네트워크를 훈련시켜 고밀도의 iToF 주파수(예: 20–400 MHz)를 예측함으로써 고해상도의 임시 이미지 복원을 가능하게 한다.
• 복원된 주파수 데이터를 사용해 역 푸리에 변환을 통해 직접 반사 대비(dToF) 임시 이미지를 추정한다.
• dToF 파형에 규칙 기반 피크 탐지 알고리즘(예: 최대 피크 탐지)을 적용하여 깊이 추정치를 추출한다.
• dToF 표현을 활용해 직접 및 간접 빛 경로를 분리함으로써, 각 상황에 대해 명시적 지도 없이도 다중 경로 간섭(MPI)을 완화한다.
• 실제 기하학, 질감, 노이즈를 반영한 합성 데이터셋을 사용해 모델를 훈련 및 검증함으로써 실제 세계 조건으로의 일반화를 보장한다.

실험 결과

연구 질문

• RQ1 희소한 iToF 주파수에서 중간 단계의 임시 이미지를 복원하는 데이터 기반 모델이 엔드 투 엔드 모델보다 모호한 깊이 감지 상황에서 더 나은 일반화 성능을 보일 수 있는가?
• RQ2 기존 iToF 및 데이터 기반 방법이 실패하는 저 SNR 조건에서 iToF2dToF 프레임워크는 어떻게 성능을 발휘하는가?
• RQ3 dToF 표현이 재훈련 없이도 반사성 반사 및 광학 교차 간섭과 같은 어려운 상황에서 강인한 깊이 추정을 가능하게 하는가?
• RQ4 기본 방법 대비 제안된 주파수 보간 전략이 임시 이미지 복원 정확도를 얼마나 향상시키는가?
• RQ5 iToF2dToF를 단순한 규칙 기반 피크 탐지 알고리즘과 통합했을 때, 실제 세계 데이터에서 엔드 투 엔드 학습보다 더 높은 깊이 정확도를 달성하는가?

주요 결과

• iToF2dToF는 지상 진술이 있는 실제 세계 장면에서 최신 기술 수준의 깊이 정확도를 달성하며, 기존의 전통적 파사르 및 데이터 기반 iToF2Depth 방법을 모두 능가한다.
• 0.1ms 노출 시간(극도로 낮은 SNR) 조건에서도 다른 방법이 실패하거나 심각한 오차를 유발하는 영역에서도 iToF2dToF는 정확한 깊이 추정을 유지한다.
• 반사성 반사 및 광학 교차 간섭이 있는 어려운 장면에서 iToF2dToF는 iToF2Depth 대비 중앙 깊이 오차를 최대 50% 감소시킨다.
• 실제 노이즈와 복잡한 빛 전달 조건을 반영한 합성 데이터셋은 효과적인 훈련과 실제 세계 조건으로의 일반화를 가능하게 한다.
• 단지 두 개의 입력 주파수(예: 20 MHz, 100 MHz)만으로도 iToF2dToF는 최소한의 잡음으로 임시 파형을 성공적으로 복원하여 고품질의 깊이 맵을 생성한다.
• 프레임워크는 dense한 neblula 조건에서도 강인성을 유지하며, 고강도 산란 조건에서도 정확한 깊이 복원이 가능하다.