[논문 리뷰] D-Flat: A Differentiable Flat-Optics Framework for End-to-End Metasurface Visual Sensor Design

Dean Hazineh, Soon Wei Daniel Lim외 4명|arXiv (Cornell University)|2022. 07. 29.

Metamaterials and Metasurfaces Applications인용 수 8

한 줄 요약

D-Flat는 기울기 기반 최적화를 통해 메타표면 기하학과 후처리 처리를 동시에 최적화할 수 있는 기울기 가능하고 TensorFlow 기반의 프레임워크이다. 이 프레임워크는 RCWA와 각도 스펙트럼 방법을 사용하여 밀리미터에서 센티미터 크기의 메타표면에 대해 빠르고 물리적으로 정확한 시뮬레이션을 지원하며, 단일 셔터 심도 감지와 공간 주파수 필터링에 대해 이론적 기준과 높은 정확도로 일치하는 성공적인 역설계를 보여준다.

ABSTRACT

Optical metasurfaces are planar substrates with custom-designed, nanoscale features that selectively modulate incident light with respect to direction, wavelength, and polarization. When coupled with photodetectors and appropriate post-capture processing, they provide a means to create computational imagers and sensors that are exceptionally small and have distinctive capabilities. We introduce D-Flat, a framework in TensorFlow that renders physically-accurate images induced by metasurface optical systems. This framework is fully differentiable with respect to metasurface shape and post-capture computational parameters and allows simultaneous optimization with respect to almost any measure of sensor performance. D-Flat enables simulation of millimeter to centimeter diameter metasurfaces on commodity computers, and it is modular in the sense of accommodating a variety of wave optics models for scattering at the metasurface and for propagation to photosensors. We validate D-Flat against symbolic calculations and previous experimental measurements, and we provide simulations that demonstrate its ability to discover novel computational sensor designs for two applications: single-shot depth sensing and single-shot spatial frequency filtering.

연구 동기 및 목표

• 작고 고성능인 센서를 위한 메타표면 광학 시스템과 계산적 후처리의 공동 설계를 가속화하기 위해.
• 대규모 면적의 메타표면에 대한 전체 전자기 시뮬레이션의 계산 비가용성을 해결하기 위해 셀 기반 근사치를 사용하기 위해.
• 메타표면 기하학과 CNN과 같은 후행 처리 파이프라인을 포함한 기울기 기반 최적화를 가능하게 하기 위해.
• 신규 계산 영상 시스템의 빠른 프로토타이핑을 위한 모듈식이고 확장 가능한 프레임워크를 제공하기 위해.
• 기호적 계산과 실험 데이터에 기반한 프레임워크의 유효성 검증을 통해 시뮬레이션의 물리적 정확성을 확보하기 위해.

제안 방법

• 각 마이크로 웨이브 레이어가 나노스케일 기하학(예: 나노실린더, 나노핀)으로 매개변수화된 독립적인 광학 요소로 간주되는 셀 기반 메타표면 모델을 사용한다.
• 각 셀의 광학 응답과 센서 평면까지의 필드 전파를 계산하기 위해 엄밀한 결합파 분석(RCWA)과 각도 스펙트럼 방법(ASM)이라는 두 가지 기울기 가능 웨이브 옵티컬 모델을 활용한다.
• 근접장 전파에 대해 프레넬 근사치를 적용하고 고 NA 시스템에서는 정확도를 유지하기 위해 ASM으로 전환한다.
• TensorFlow의 자동 미분를 통해 메타표면 설계와 후처리 처리(예: CNN)를 종단 간 백프로파게이션에 가능하게 한다.
• 이미지 선명도, 심도 정확도 또는 주파수 응답과 같은 기울기 가능 지표를 사용하여 시스템 성능을 최적화할 수 있다.
• 특히 에지 검출 작업에 대해 주파수 도메인 행동을 분석하고 검증하기 위해 광학 전송 함수(OTF)와 점 확산 함수(PSF)를 사용한다.

실험 결과

연구 질문

• RQ1 기울기 가능 프레임워크는 계산 영상에 적합한 메타표면 기하학과 후처리 처리의 공동 최적화를 가능하게 하는가?
• RQ2 기울기 가능 시뮬레이션 프레임워크는 회절 한계 초점 및 공간 주파수 필터링을 포함한 물리적 광학 행동을 얼마나 정확하게 재현할 수 있는가?
• RQ3 이 프레임워크는 심도 또는 에지 검출과 같은 단일 셔터 감지 작업을 위한 새로운 메타표면 설계를 얼마나 잘 발견할 수 있는가?
• RQ4 고 NA에서 프레넬과 ASM 간의 전파 모델 선택이 시뮬레이션 정확도에 어떤 영향을 미치는가?
• RQ5 초점 및 OTF 응답에서 이론적 한계(예: 에어리 디스크)와 비교해 성능을 유사하게 달성할 수 있는가?

주요 결과

• D-Flat는 메타렌즈 시스템에 대해 이론적 에어리 강도 프로파일을 정확하게 재현하며, 특히 고 NA에서 각도 스펙트럼 방법을 사용할 경우 시뮬레이션 결과와 해석 결과 간 강한 일치를 보인다.
• 이 프레임워크는 단일 셔터 1차 도함수 영상 처리를 수행하는 메타표면의 성공적인 역설계를 보여주며, 네트워크 OTF는 영역 주파수 근처에서 선형 실수부와 반대칭 허수부를 보이며, 이는 1차 도함수와 일치한다.
• 2차 도함수 영상 처리의 경우, 네트워크 OTF의 영역 주파수 근처에서 제곱형 실수부를 보이며, 이는 시스템이 에지 검출을 위한 라플라시안-가우시안 커널을 모방할 수 있음을 확인한다.
• 최적화된 시스템의 시뮬레이션된 PSF는 전통적인 2차 도함수 커널의 기대되는 형태와 매우 유사하여, 프레임워크가 기능적인 광학 시스템을 발견할 수 있음을 검증한다.
• D-Flat는 일반 하드웨어에서 밀리미터 크기의 메타표면을 시뮬레이션할 수 있으며, 기울기 가능 웨이브 옵티컬 기법과 모듈식 설계를 통해 높은 계산 효율성을 달성한다.
• RCWA와 ASM 모델은 설계 영역에 따라 상호 보완적인 정확도를 제공하며, 다양한 메타표면 크기와 구성에 대해 프레임워크가 뛰어난 강건성을 보였다.