[논문 리뷰] Curriculum Learning for ab initio Deep Learned Refractive Optics

Xinge Yang, Qiang Fu외 1명|arXiv (Cornell University)|2023. 02. 02.

Photonic and Optical Devices참고 문헌 37인용 수 5

한 줄 요약

이 논문은 딥러닝 기반 계산 영상 시스템에서 복합 렌즈의 엔드 투 엔드, 아비니티(아 Bayer) 설계를 위한 커리큘럼 학습 기반 방법을 제안한다. 과제의 난이도를 점진적으로 증가시키고 왜곡을 제어함으로써, 복잡한 렌즈 시스템의 완전 자동 최적화를 가능하게 한다. 이는 고비틀림도와 짧은 후방 초점 거리를 갖는 컴act한 스마트폰 형상의 심도 범위 연장 카메라를 설계하여 인간 간섭 없이 심도에 관계없이 일관된 영상 성능을 달성한 데서 입증되었다.

ABSTRACT

Deep optical optimization has recently emerged as a new paradigm for designing computational imaging systems using only the output image as the objective. However, it has been limited to either simple optical systems consisting of a single element such as a diffractive optical element (DOE) or metalens, or the fine-tuning of compound lenses from good initial designs. Here we present a DeepLens design method based on curriculum learning, which is able to learn optical designs of compound lenses ab initio from randomly initialized surfaces without human intervention, therefore overcoming the need for a good initial design. We demonstrate the effectiveness of our approach by fully automatically designing both classical imaging lenses and a large field-of-view extended depth-of-field computational lens in a cellphone-style form factor, with highly aspheric surfaces and a short back focal length.

연구 동기 및 목표

• 좋은 초기 설계나 수동 조정이 필요로 하는 딥 렌즈 설계 방법의 한계를 극복하여, 복합 렌즈의 완전 자동 아비니티 최적화를 가능하게 하기 위해.
• 비볼록 최적화 과정에서 국소 최솟값에 갇히거나 수렴하지 못하는 문제를 해결하기 위해, 딥 렌즈 설계의 비볼록 최적화 환경을 다루기 위해.
• 스마트폰 형상의 실용적인 광학계, 예를 들어 심도 범위 연장(EDoF) 카메라와 같은 복잡한 시스템을 무작위 초기 기하구조에서 완전히 설계할 수 있음을 입증하기 위해.
• 광학 설계와 영상 복원을 하나의 엔드 투 엔드 학습 프레임워크로 통합하여, 최종 영상 품질을 동시에 최적화하기 위해.
• 고비틀림도와 홀수 차수 다항식 위상 항을 포함한 도전적인 특징을 갖는 실생활 모바일 영상에 적합한 컴 pact하고 고성능 렌즈 설계를 가능하게 하기 위해.

제안 방법

• 작은 입사구 및 시야를 시작으로 점차 과제 복잡도를 증가시키는 커리큘럼 학습을 적용하여 국소 최솟값을 피하기 위해.
• 이산화된 레이 트레이싱을 사용하여 영상 품질 오차를 광학계를 거쳐 역전파함으로써 렌즈 표면 파rameter의 기울기 기반 최적화를 가능하게 하기 위해.
• 최적화 중에 열악하거나 불안정한 렌즈 기하구조를 방지하기 위해 왜곡 및 형태 제어 전략을 적용하기 위해.
• 오차가 높은 영역에 집중하여 최적화함으로써 수렴성과 최종 영상 품질을 향상시키기 위해.
• 딥 네트워크를 엔드 투 엔드 방식으로 통합하여 영상 복원을 수행하고, 렌즈 설계 및 복원 네트워크 파라미터를 동시에 최적화하기 위해.
• 심도에 관계없이 일관된 확산 함수를 달성하기 위해 비구면과 홀수 차수 다항식 위상 항(예: 세차 위상)을 조합한 하이브리드 표면 모델을 사용하기 위해.

실험 결과

연구 질문

• RQ1 커리큘럼 학습이 좋은 초기 설계가 필요 없이 복합 렌즈의 엔드 투 엔드, 아비니티 최적화를 가능하게 할 수 있는가?
• RQ2 이산화된 레이 트레이싱과 커리큘럼 학습을 조합하여 복잡한 비볼록 광학 설계 공간에서 국소 최솟값 문제를 극복할 수 있는가?
• RQ3 딥러닝 기반 렌즈 설계 프레임워크가 스마트폰 형상의 실용적이고 컴 pact하며 고성능 광학계, 예를 들어 EDoF 카메라를 설계할 수 있는가?
• RQ4 엔드 투 엔드로 학습된 EDoF 렌즈의 성능은 후처리 복원 기반 전통 광학계와 비교해 심도 범위 연장 및 영상 품질 측면에서 어떻게 다른가?
• RQ5 하이브리드 표면 렌즈 모델(비구면 + 홀수 다항식 위상)이 EDoF 설계에서 컴 pact함과 성능 향상에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 57.3°의 시야와 20cm에서 10m까지의 심도 범위를 갖는 스마트폰 형상의 컴 pact한 EDoF 계산 카메라를 완전 자동으로 설계하였다.
• 엔드 투 엔드로 학습된 EDoF 렌즈는 10m 심도에서 PSNR 30.17 dB를 기록했으며, 전통 렌즈에 복원 네트워크를 적용한 경우보다 1.72 dB 향상되었고, 20cm에서의 전통 렌즈보다 2.47 dB 향상되었다.
• 하이브리드 표면 EDoF 렌즈 설계는 이전의 EDoF 렌즈보다 더 뛰어난 성능을 달성했으며, 더 컴 pact한 구조를 가능하게 하여 실용적 이점을 입증하였다.
• 커리큘럼 학습 전략은 국소 최솟값을 효과적으로 피하고, 인간 감시 없이 무작위로 초기화된 렌즈 기하구조에서 수렴을 가능하게 하였다.
• EDoF 렌즈의 센서 이미지는 거의 심도에 의존하지 않으며, 최종 복원 이미지는 아티팩트가 없고 전통 광학계에 후처리 복원을 적용한 경우보다 훨씬 선명하였다.
• PSNR 곡선을 통해 도식화된 바와 같이, 이 방법은 전통 광학계에 복원 기술을 적용한 경우와 순수 네트워크 기반 블러 제거 기술보다도 뛰어난 성능을 보였으며, 엔드 투 엔드 최적화의 우수성을 확인하였다.