[논문 리뷰] Learned holographic light transport

Koray Kavaklı, Hakan Ürey외 1명|arXiv (Cornell University)|2021. 08. 01.

Advanced Optical Imaging Technologies참고 문헌 21인용 수 4

한 줄 요약

이 논문은 실제 카메라 촬영을 통해 확보한 허프로그램 재구성 이미지를 기반으로 단일 복소수 값의 컨볼루션 커널을 학습함으로써 허프로그램 디스플레이의 시뮬레이션 정확도를 향상시키는 학습된 허프로그램 빛 전송 모델을 제안한다. 이상적인 시뮬레이션을 통해 최적화된 단일 위상 허프로그램을 기반으로 훈련함으로써, 복잡한 아키텍처나 광범위한 校정이 없이도 시뮬레이션에서 훨씬 높은 이미지 품질과 현실감을 달성한다.

ABSTRACT

Computer-Generated Holography (CGH) algorithms often fall short in matching simulations with results from a physical holographic display. Our work addresses this mismatch by learning the holographic light transport in holographic displays. Using a camera and a holographic display, we capture the image reconstructions of optimized holograms that rely on ideal simulations to generate a dataset. Inspired by the ideal simulations, we learn a complex-valued convolution kernel that can propagate given holograms to captured photographs in our dataset. Our method can dramatically improve simulation accuracy and image quality in holographic displays while paving the way for physically informed learning approaches.

연구 동기 및 목표

• 시뮬레이션된 결과와 실제 허프로그램 디스플레이 성능 사이의 지속적인 격차를 해소한다.
• 허프로그램 디스플레이 모델링에 있어 복잡한 딥러닝 모델이나 광범위한 실험적 校정에 대한 의존도를 줄인다.
• 실제 물리적 허프로그램 디스플레이의 진짜 빛 전송 특성을 학습할 수 있는 단순하고 미분 가능한 방법을 개발한다.
• 단일 위상 허프로그램에 대해 실제 세계의 이미지 품질을 반영하는 더 정확한 시뮬레이션을 가능하게 한다.
• 최소한의 파rameter 오버헤드로 물리적으로 정보를 반영한 학습의 기반을 제공한다.

제안 방법

• 증명용 단일 위상 허프로그램 디스플레이의 실제 이미지 재구성을 카메라로 촬영한다.
• 이deal, 완전히 미분 가능한 허프로그램 빛 전송 모델(Rayleigh-Sommerfeld 회절)을 사용해 입력 허프로그램을 최적화한다.
• 이deal한 허프로그램을 실제 물리적 재구성 이미지로 매핑하는 단일 복소수 값의 컨볼루션 커널을 학습한다.
• 학습된 커널을 통해 시뮬레이션된 재구성 이미지와 실제 카메라 이미지를 비교하는 미분 가능한 손실 함수를 사용한다.
• 물리적 디스플레이의 집합적 광학 오차 및 결함을 모델링하는 포인트 스프레드 함수를 학습한다.
• 학습된 커널을 시뮬레이션에 적용하여 허프로그램을 이미지 평면으로 전파함으로써 더 현실적인 결과를 얻는다.

실험 결과

연구 질문

• RQ1 단일 학습된 복소수 컨볼루션 커널이 실제 허프로그램 디스플레이의 비이상적인 빛 전송을 효과적으로 모델링할 수 있는가?
• RQ2 이러한 학습된 커널이 이상화된 허프로그램 모델에 비해 시뮬레이션 정확도를 얼마나 향상시킬 수 있는가?
• RQ3 이 방법은 복잡한 딥러닝 아키텍처나 광범위한 校정 절차의 필요성을 줄이는가?
• RQ4 최신의 신경망 기반 접근법과 비교했을 때, 학습된 커널은 성능과 파라미터 효율성 측면에서 어떤가?
• RQ5 학습된 커널은 다이내믹 레인지 및 밝기와 같은 핵심 이미지 품질 지표를 잘 캡처하고 유지하는가?

주요 결과

• 학습된 허프로그램 빛 전송 방법은 시뮬레이션 정확도를 크게 향상시켜, 실제 물리적 재구성과 매우 유사한 이미지 품질을 달성한다.
• 시각적 비교(그림 4 참조)에 따르면, 이 방법은 이상적인 시뮬레이션 모델보다 다이내믹 레인지와 밝기 수준을 더 잘 유지한다.
• 딥러닝 기반의 최신 기법 대비 파rameter 수를 400만 개(암함수 및 위상에 대해 2×1080×1920)로 줄여 반으로 감소시켰다.
• 학습된 커널은 디스플레이의 집합적 광학 결함을 캡처하는 포인트 스프레드 함수로 기능하여 더 현실적인 시뮬레이션을 가능하게 한다.
• 입력 이미지 크기와 동일한 커널 크기를 사용함으로써, 작은 커널 크기의 국소성 문제를 해결하고 전역적인 공간적 맥락을 보장한다.
• 최소한의 실험적 및 알고리즘 오버헤드로 물리적으로 정보를 반영한 학습을 가능하게 하여, 복잡한 GAN이나 다층 모델 대비 단순하면서도 효과적인 대안을 제공한다.