[논문 리뷰] Neural Étendue Expander for Ultra-Wide-Angle High-Fidelity Holographic Display

Ethan Tseng, Grace Kuo외 9명|arXiv (Cornell University)|2021. 09. 16.

Advanced Optical Imaging Technologies참고 문헌 39인용 수 6

한 줄 요약

이 논문은 신경망 기반 에텐드 유도 확장기—학습된 회절성 광학 요소로, 공간 광학 조절기(SLM)의 에텐드를 손상 없이 확장함으로써 초광각, 고해상도 허프로그래픽 디스플레이를 가능하게 한다. 유연한 허프로그래픽 형성 모델을 사용해 SLM의 파면과 확장기의 위상 프로파일을 동시에 최적화함으로써, 이론적 64배의 에텐드 확장을 달성하고 PSNR >29 dB를 확보함으로써 8K SLM를 사용해 126°의 시야각과 18.5 mm의 눈상자 크기를 실현한다.

ABSTRACT

Holographic displays can generate light fields by dynamically modulating the wavefront of a coherent beam of light using a spatial light modulator, promising rich virtual and augmented reality applications. However, the limited spatial resolution of existing dynamic spatial light modulators imposes a tight bound on the diffraction angle. As a result, modern holographic displays possess low étendue, which is the product of the display area and the maximum solid angle of diffracted light. The low étendue forces a sacrifice of either the field-of-view (FOV) or the display size. In this work, we lift this limitation by presenting neural étendue expanders. This new breed of optical elements, which is learned from a natural image dataset, enables higher diffraction angles for ultra-wide FOV while maintaining both a compact form factor and the fidelity of displayed contents to human viewers. With neural étendue expanders, we experimentally achieve 64$ imes$ étendue expansion of natural images in full color, expanding the FOV by an order of magnitude horizontally and vertically, with high-fidelity reconstruction quality (measured in PSNR) over 29 dB on retinal-resolution images.

연구 동기 및 목표

• 동적 SLM의 낮은 공간 해상도와 작은 회절 각도로 인한 허프로그래픽 디스플레이의 기본적 에텐드 제한을 극복하기 위해.
• 자연 이미지의 복원 품질을 유지하면서 초광각 시야각(FOV)과 큰 눈상자 크기를 갖춘 허프로그래픽 디스플레이를 실현하기 위해.
• SLM 파면과 함께 최적화되는 학습 가능한 광학 요소인 신경망 기반 에텐드 유도 확장기를 개발하여 시각적 이미지 품질을 극대화하기 위해.
• 눈 추적기나 다수의 SLM 등 복잡한 동적 구성 요소가 필요 없도록 정적이고 최적화된 광학 요소를 사용함으로써 이를 제거하기 위해.
• 전색, 3차원, 눈상자 인식 허프로그래픽 디스플레이를 고해상도와 넓은 시청자 호환성으로 지원하기 위해.

제안 방법

• SLM 파면과 신경망 기반 에텐드 유도 확장기의 위상 프로파일을 동시에 최적화할 수 있도록 유연한 허프로그래픽 형성 모델을 개발하였다.
• 첫 번째 순서의 확률적 최적화를 사용해 자연 이미지 데이터셋에서 신경망 기반 에텐드 유도 확장기를 학습하였으며, 복원 노이즈가 인간 시각 시스템의 인지 가능한 주파수 대역 외부로 이동하도록 설계하였다.
• 레이저 빔 리소그래피와 수지 성형 기법을 사용해 확장기를 회절성 광학 요소(DOE)로 제작하였으며, 파장에 따라 변하는 굴절률을 설계에 통합하였다.
• HOLOEYE-PLUTO SLM, DC 블록, 카메라를 포함한 4F 릴레이 구조를 사용해 실험적으로 에텐드 확장 허프로그램을 촬영하고 검증하였다.
• 눈상자 내 다양한 눈동자 위치에서도 일관된 이미지 품질을 확보하기 위해 눈상자 인식 최적화를 적용하였다.
• 다중 파장 조명을 지원해 전색 허프로그래픽을 실현하고, 3차원 색상 허프로그램 복원으로도 확장 가능하다.

실험 결과

연구 질문

• RQ1 학습된 광학 요소가 자연 풍경에 대해 고해상도 복원 품질을 유지하면서 허프로그래픽 디스플레이의 에텐드를 크게 확장할 수 있는가?
• RQ2 SLM와 신경망 기반 에텐드 유도 확장기를 함께 최적화함으로써, 무작위 또는 고정 위상 산산조각 날기와 비교해 복원 품질이 어떻게 향상되는가?
• RQ3 신경망 기반 에텐드 유도 확장기는 동적 구성 요소 없이 초광각 시야각(예: 120° 이상)과 큰 눈상자 크기(예: 10×10 mm² 이상)를 얼마나 잘 실현할 수 있는가?
• RQ4 이 방법은 뷰어의 눈동자 위치에 영향을 받지 않는 고해상도 전색 및 3차원 허프로그래픽 디스플레이를 지원할 수 있는가?
• RQ5 에텐드 확장 계수와 복원 품질 간의 타협 가능 범위는 PSNR로 측정했을 때 얼마인가?

주요 결과

• 신경망 기반 에텐드 유도 확장기는 전색 허프로그램에서 64배의 에텐드 확장을 달성하고, 피크 신호 대 노이즈 비율(PSNR)이 29 dB 이상을 확보하여 기존 방법에 비해 한 계단 높은 성능을 기록한다.
• 단색 허프로그램의 경우, 다른 확장기와 비교해 10 dB 이상의 PSNR 향상을 달성하여 뛰어난 복원 품질을 입증한다.
• 시스템은 8K 픽셀 SLM를 사용해 126°의 시야각과 18.5 mm의 눈상자 크기를 실현하였으며, 이는 인간 시각 영역의 85% 이상을 커버한다.
• 최적화된 신경망 확장기는 눈상자 전역에 걸쳐 빛 에너지를 균일하게 분포시켜 시청자 눈동자 독립성을 확보하고 정밀한 눈 추적 장치가 필요 없도록 한다.
• 이 방법은 이전 연구가 단색 또는 흩어진 점 기반 3차원 허프로그램에 국한된 바를 뛰어넘어 고해상도 3차원 색상 허프로그램을 실현할 수 있다.
• 실험적 검증을 통해 학습된 웨이브프론트 조절이 복원 노이즈를 인간의 인지 주파수 대역 외부로 효과적으로 이동시켜 시각적 이미지 품질을 향상시킴을 확인하였다.