[논문 리뷰] Hybrid Diffractive Optics Design via Hardware-in-the-Loop Methodology for Achromatic Extended-Depth-of-Field Imaging

Samuel Pinilla, Seyyed Reza Miri Rostami외 3명|arXiv (Cornell University)|2022. 03. 30.

Advanced optical system design참고 문헌 51인용 수 37

한 줄 요약

이 논문은 공간광조절모듈(SLM)을 프로그래머블 위상 전용 회절광학소자(DOE)로 사용하여 하이브리드 회절광학소자를 설계하기 위한 하드웨어-인-더-루프(HIL) 최적화 프레임워크를 제안한다. 이는 색수차가 없는 확장된 초점거리(EDoF) 영상 촬영을 가능하게 한다. 양방향으로 미분 가능한 엔드 투 엔드 파이프라인을 통해 SLM 위상 패턴과 영상 복원 알고리즘을 동시에 최적화함으로써, 0.4–1.9 m의 깊이 범위에서 높은 품질의 전체 초점 영상 촬영을 달성하였으며, 렌즈 전용 시스템과 소니 A7 III, 아이폰 Xs Max와 같은 상용 카메라보다 선명도와 색상 충실도에서 뛰어난 성능을 보였다.

ABSTRACT

End-to-end optimization of diffractive optical elements (DOEs) profile through a digital differentiable model combined with computational imaging have gained an increasing attention in emerging applications due to the compactness of resultant physical setups. Despite recent works have shown the potential of this methodology to design optics, its performance in physical setups is still limited and affected by manufacturing artifacts of DOE, mismatch between simulated and resultant experimental point spread functions, and calibration errors. Additionally, the computational burden of the digital differentiable model to effectively design the DOE is increasing, thus limiting the size of the DOE that can be designed. To overcome the above mentioned limitations, the broadband imaging system with phase-only spatial light modulator (SLM) as an encoded DOE is proposed and developed in this paper. A co-design of the SLM phase pattern and image reconstruction algorithm is produced following the end-to-end strategy, using for optimization a convolutional neural network equipped with quantitative and qualitative loss functions. The optics of the imaging system is hybrid consisting of SLM as DOE and refractive lens. SLM phase-pattern is optimized by applying the Hardware-in-the-loop technique, which helps to eliminate the mismatch between numerical modeling and physical reality of image formation as light propagation is not numerically modeled but is physically done. In our experiments, the hybrid optics is implemented by the optical projection of the SLM phase-pattern on a lens plane for a depth range 0.4-1.9m. Comparison with compound multi-lens optics such as Sony A7 III and iPhone Xs Max cameras show that the proposed system is advanced in all-in-focus sharp imaging.

연구 동기 및 목표

• 제작 공정에서 발생하는 잡음, PSF 불일치, 校정 오차 등으로 인해 이론적 DOE 설계와 실제 구현 간 성능 격차를 해소하기 위해.
• 대규모 DOE 설계에 대해 순수 디지털 미분 가능 모델링의 높은 계산 비용과 확장성 한계를 극복하기 위해.
• 시뮬레이션과 실제 광학 성능 간 격차를 메우는 실용적인 엔드 투 엔드 공동 설계 프레임워크를 개발하기 위해.
• 굴곡 렌즈와 SLM 기반 DOE를 조합한 소형 하이브리드 시스템을 사용하여 고성능의 색수차 없는 확장된 초점거리 영상 촬영을 달성하기 위해.

제안 방법

• 물리적 빛 전파를 최적화 루프 내에서 수치적 시뮬레이션 대신 사용하는 하드웨어-인-더-루프(HIL) 설정을 도입하여 모델-실험 불일치를 제거한다.
• 공간광조절모듈(SLM)을 픽셀 단위로 프로그래밍 가능한 위상 전용 DOE로 사용하여 실시간이고 재구성 가능한 wavefront 조절을 가능하게 한다.
• 정량적(예: PSNR) 및 정성적(예: 인지적) 손실 함수를 결합한, 복합 컨volution 신경망(CNN)을 사용하여 SLM 위상 패턴과 영상 복원 알고리즘을 동시에 최적화한다.
• SLM 위상 패턴을 렌즈 평면에 투사하여 하이브리드 광학 시스템을 구성함으로써 소형 굴곡-DOE 시스템을 실현한다.
• 두 가지 실험 설정을 통해 물리적 실험을 수행한다: 서로 다른 깊이에 위치한 다수의 물체를 포함한 설정(설정 1)과 단일 3D 시나리오를 포함한 설정(설정 2)을 통해 EDoF 성능을 검증한다.
• 수치적 PSF가 아닌 실제 광학 데이터를 사용하여 엔드 투 엔드 시스템을 학습 및 검증함으로써 실제 세계의 왜곡에 대한 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 하드웨어-인-더-루프 최적화가 DOE 설계에서 시뮬레이션 성능과 실제 성능 간 격차를 효과적으로 줄일 수 있는가?
• RQ2 SLM 위상 패턴과 영상 복원 알고리즘을 동시에 최적화함으로써, 독립적인 렌즈 또는 고정 위상 DOE 시스템에 비해 색수차 없는 EDoF 영상 품질은 얼마나 향상되는가?
• RQ3 제안된 HIL 방법론이 넓은 깊이 범위에서 전체 초점 선명도 영상 촬영 성능에서 상용 복합 렌즈 카메라(예: 소니 A7 III, 아이폰 Xs Max)를 얼마나 뛰어나게 하는가?
• RQ4 움직이는 물체와 같은 동적 깊이 변화 상황에서도 시스템이 높은 영상 품질과 색상 충실도를 유지할 수 있는가?
• RQ5 혼합 손실 함수를 갖는 미분 가능한 CNN을 사용할 경우 최적화된 DOE의 강건성과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• HIL 최적화된 하이브리드 시스템은 0.4–1.9 m 깊이 범위 전역에서 RGB 채널 전반에 약 25 dB의 PSNR를 달성하여 안정적이고 색수차 없는 성능을 확인하였다.
• 초점 거리가 1.8 m일 경우, 렌즈 전용 시스템 대비 약 2 dB의 PSNR 향상을 보이며 영상 품질 향상이 뚜렷하게 나타났다.
• 시각적 비교 결과, 특히 극한의 깊이에서 선명도와 색상 유지 측면에서 설계된 하이브리드 시스템이 렌즈 전용 시스템과 입방형 위상 SLM 시스템을 모두 능가하는 것으로 나타났다.
• 해당 시스템은 동적 깊이 변화 상황에서도 높은 영상 품질을 유지하였으며, 0.3 m에서 1.9 m로 이동하는 해바라기 영상에서 일관되게 선명하고 잘 색상이 유지된 복원 영상을 제공하였다.
• 복합 렌즈 광학을 갖춘 상용 카메라인 소니 A7 III와 아이폰 Xs Max에 비해, 특히 초점 외 영역에서 전체 초점 영상 촬영 성능에서 뛰어난 성능을 보였다.
• HIL 방법론은 시뮬레이션과 실제 현실 간의 불일치를 효과적으로 완화하여, 수치적 모델링된 PSF에 의존하지 않고도 고성능 DOE의 신뢰할 수 있는 설계를 가능하게 하였다.