[논문 리뷰] FourierNets enable the design of highly non-local optical encoders for computational imaging

Diptodip Deb, Zhenfei Jiao외 6명|arXiv (Cornell University)|2021. 04. 21.

Advanced Vision and Imaging인용 수 10

한 줄 요약

이 논문은 계산 영상에서 극도로 국소적이지 않은 광학 인코더의 엔드 투 엔드 최적화를 가능하게 하는 전역 커널 푸리에 컨볼루션 기반의 새로운 얕은 신경망 아키텍처인 FourierNets를 소개한다. 다수의 GPU를 활용한 대규모 다이얼레틱 광학 시뮬레이터와 결합함으로써, 저자들은 이전 연구 대비 170배에서 7372배까지 더 큰 국소적이지 않은 인코더를 구현하였으며, 이는 고정밀도 3D 스냅샷 현미경 재구성과 단일 현미경 시스템 내에서 ROI별로 프로그래밍 가능한 인코딩을 가능하게 한다.

ABSTRACT

Differentiable simulations of optical systems can be combined with deep learning-based reconstruction networks to enable high performance computational imaging via end-to-end (E2E) optimization of both the optical encoder and the deep decoder. This has enabled imaging applications such as 3D localization microscopy, depth estimation, and lensless photography via the optimization of local optical encoders. More challenging computational imaging applications, such as 3D snapshot microscopy which compresses 3D volumes into single 2D images, require a highly non-local optical encoder. We show that existing deep network decoders have a locality bias which prevents the optimization of such highly non-local optical encoders. We address this with a decoder based on a shallow neural network architecture using global kernel Fourier convolutional neural networks (FourierNets). We show that FourierNets surpass existing deep network based decoders at reconstructing photographs captured by the highly non-local DiffuserCam optical encoder. Further, we show that FourierNets enable E2E optimization of highly non-local optical encoders for 3D snapshot microscopy. By combining FourierNets with a large-scale multi-GPU differentiable optical simulation, we are able to optimize non-local optical encoders 170$ imes$ to 7372$ imes$ larger than prior state of the art, and demonstrate the potential for ROI-type specific optical encoding with a programmable microscope.

연구 동기 및 목표

• 계산 영상에서 극도로 국소적이지 않은 광학 인코더의 엔드 투 엔드 최적화를 방해하는 계산 및 아키텍처적 장벽을 극복하기 위해.
• 표준 딥러닝 디코더에서 발생하는 국소성 편향이 극도로 국소적이지 않은 인코딩으로부터 신호를 재구성하는 데 한계를 초래하는 문제를 해결하기 위해.
• 공간 광학 조절 장치(SLM)를 사용하여 작업에 특화된 프로그래머블 광학 인코더를 설계할 수 있도록 하기 위해.
• FourierNet 기반 디코더가 DiffuserCam과 같은 극도로 국소적이지 않은 인코딩으로부터 이미지를 재구성할 때 표준 딥 네트워크보다 뛰어난 성능을 보이는지 확인하기 위해.
• 대규모, 국소적이지 않은 광학 인코더를 고정밀도로 시뮬레이션할 수 있는 확장 가능한 다중 GPU 기반 다이얼레틱 광학 시뮬레이션 프레임워크를 개발하기 위해.

제안 방법

• 장거리 상관관계를 국소적인 인덕티브 바이어스 없이 포착할 수 있는 전역 커널 푸리에 컨볼루션 기반의 새로운 디코더 아키텍처인 FourierNet을 제안한다.
• 다수의 GPU를 활용하여 고정밀도로 대규모, 극도로 국소적이지 않은 광학 인코더를 시뮬레이션할 수 있는 다이얼레틱 물리 기반 광학 시뮬레이션 프레임워크를 구현한다.
• SLM 기반 위상 마스크를 갖는 복잡한 광학 시스템의 점원형함수(PSF)를 다이얼레틱 시뮬레이터를 통해 계산한다.
• 다이얼레틱 시뮬레이션을 통해 역전파를 수행함으로써 광학 인코더 파rameter와 함께 FourierNet 디코더를 엔드 투 엔드로 훈련시킨다.
• 생물학적 샘플 유형(예: 유전자형 A, B, C 제브라피시 뇌 부위)에 맞게 SLM 위상 마스크 파rameter(φ)를 최적화하여 작업에 특화된 국소적이지 않은 인코더를 생성한다.
• 3D 전치 컨볼루션과 잔차 연결을 사용하는 3D U-Net 유사 아키텍처와 FourierNet을 통합하여 부피형 재구성 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 표준 딥 네트워크가 재구성에 실패하는 극도로 국소적이지 않은 광학 인코딩을 효과적으로 복원할 수 있는 얕고 전역적인 컨볼루션 네트워크인 FourierNet이 가능한가?
• RQ2 다이얼레틱 물리 기반 시뮬레이션과 적절한 디코더를 사용할 때 실제로 최적화할 수 있는 국소적이지 않은 광학 인코더의 최대 크기는 얼마인가?
• RQ3 프로그래머블 마이크로스코프의 SLM을 엔드 투 엔드 최적화하여 특정 생물학적 샘플 유형에 맞는 작업에 특화된 국소적이지 않은 광학 인코더를 생성할 수 있는가?
• RQ4 FourierNet의 성능은 DiffuserCam의 극도로 국소적이지 않은 인코딩으로부터 이미지를 재구성할 때 표준 딥 러닝 디코더와 비교해 어떻게 되는가?
• RQ5 다이얼레틱 광학 시뮬레이션은 대규모, 국소적이지 않은 인코더(예: 이전 최상위 기술 대비 170배에서 7372배까지)의 최적화를 얼마나 잘 스케일링할 수 있는가?

주요 결과

• FourierNets는 표준 딥 네트워크 디코더보다 DiffuserCam이 촬영한 이미지를 재구성할 때 훨씬 뛰어난 신호 대 잡음비(PSNR)와 구조 유사도(SSIM)를 달성하여 뛰어난 성능을 보였다.
• 저자들은 이전 최상위 기술 대비 7372배나 더 큰 광학 인코더를 성공적으로 최적화하여 고시간 해상도를 갖춘 3D 스냅샷 현미경에서 새로운 기능을 실현하였다.
• 엔드 투 엔드 훈련을 통해 특정 샘플 유형(예: 유전자형 A, B, C 제브라피시 뇌 부위)에 맞게 최적화된 위상 마스크는 일반적 또는 최적화되지 않은 마스크보다 더 선명하고 정확한 재구성을 제공하였다.
• 위상 마스크를 특정 유형(A형)에 맞게 최적화한 경우, FourierNet 기반 디코더는 거의 완벽한 재구성 정밀도를 달성하였으며, 낮은 흐림과 높은 구조 일致성을 보였다.
• 다이얼레틱 광학 시뮬레이션 프레임워크는 파동 광학 시뮬레이션 전반에 걸쳐 완전한 역전파를 가능하게 하여 SLM 위상 마스크와 디코더 네트워크를 함께 최적화할 수 있었다.
• 프로그래머블 마이크로스코프에 대한 개념 증명 구현은 단일 물리적 시스템 내에서 ROI별로 특화된 광학 인코더를 생성할 수 있음을 입증하였으며, 작업 적응형 계산 영상의 길을 열었다.