[논문 리뷰] Solving Fourier ptychographic imaging problems via neural network modeling and TensorFlow

Shaowei Jiang, Kaikai Guo외 2명|arXiv (Cornell University)|2018. 03. 09.

Advanced X-ray Imaging Techniques인용 수 9

한 줄 요약

이 논문은 텐서플로우에서 컨volution 신경망(CNN)을 사용하여 포화 페르소지적 영상 문제를 해결하는 딥러닝 프레임워크를 제안한다. 전방 영상 과정를 미분 가능한 신경망으로 모델링함으로써 복소 수객체를 학습 가능한 가중치로 간주하고 역전파를 통해 최적화하며, 큰 배치 크기와 Adam 최적화기를 사용하여 뛰어난 성능을 보이며 고해상도 영상 재구성에 성공한다. 또한 효율적인 푸리에 진폭 투영과 단일 픽셀 영상 및 구조화된 조명 현미경과 같은 응용 분야로의 확장도 가능하다.

ABSTRACT

Fourier ptychography is a recently developed imaging approach for large field-of-view and high-resolution microscopy. Here we model the Fourier ptychographic forward imaging process using a convolution neural network (CNN) and recover the complex object information in the network training process. In this approach, the input of the network is the point spread function in the spatial domain or the coherent transfer function in the Fourier domain. The object is treated as 2D learnable weights of a convolution or a multiplication layer. The output of the network is modeled as the loss function we aim to minimize. The batch size of the network corresponds to the number of captured low-resolution images in one forward / backward pass. We use a popular open-source machine learning library, TensorFlow, for setting up the network and conducting the optimization process. We analyze the performance of different learning rates, different solvers, and different batch sizes. It is shown that a large batch size with the Adam optimizer achieves the best performance in general. To accelerate the phase retrieval process, we also discuss a strategy to implement Fourier-magnitude projection using a multiplication neural network model. Since convolution and multiplication are the two most-common operations in imaging modeling, the reported approach may provide a new perspective to examine many coherent and incoherent systems. As a demonstration, we discuss the extensions of the reported networks for modeling single-pixel imaging and structured illumination microscopy (SIM). 4-frame resolution doubling is demonstrated using a neural network for SIM. We have made our implementation code open-source for the broad research community.

연구 동기 및 목표

• 딥러닝을 활용하여 포화 페르소지적 현미경에서의 위상 복원의 계산적 과제를 해결하기 위해.
• 종단간 최적화를 위해 간섭 영상의 전방 과정를 미분 가능한 신경망으로 모델링하기 위해.
• 텐서플로우에서 적응형 최적화기와 배치 처리를 통해 수렴 속도를 가속화하고 재구성 품질을 향상시키기 위해.
• 단일 픽셀 영상 및 구조화된 조명 현미경(SIM)과 같은 다른 간섭 영상 시스템으로 프레임워크를 확장하기 위해.
• 광범위한 공동 사용과 재현 가능성을 위해 오픈소스 구현을 제공하기 위해.

제안 방법

• 포화 페르소지적 영상의 전방 영상 과정를 신경망으로 모델링하며, 이때 물체는 컨볼루션 또는 곱셈 레이어 내의 2차원 학습 가능한 가중치로 표현된다.
• 네트워크의 입력은 공간 도메인의 점확산함수 또는 푸리에 도메인의 간섭 전달함수일 수 있다.
• 네트워크의 출력은 최소화되어야 할 손실 함수로 정의되며, 이는 시뮬레이션된 저해상도 영상과 캡처된 저해상도 영상 간의 차이에 해당한다.
• 각 배치가 캡처된 저해상도 영상 한 세트에 해당하는 미니배치 역전파를 통해 Adam 최적화기를 사용하여 학습을 수행한다.
• 푸리에 진폭 투영은 수렴 속도를 높이기 위해 곱셈 레이어 신경망을 사용하여 효율적으로 구현된다.
• 네트워크 아키텍처와 손실 공식화를 수정하여 프레임워크를 단일 픽셀 영상 및 구조화된 조명 현미경(SIM)으로 확장한다.

실험 결과

연구 질문

• RQ1 미분 가능한 신경망 프레임워크가 위상 복원을 위한 포화 페르소지적 영상의 전방 과정를 효과적으로 모델링할 수 있는가?
• RQ2 학습률, 최적화기, 배치 크기와 같은 하이퍼파rameter가 재구성 품질과 수렴 속도에 미치는 영향은 어떠한가?
• RQ3 제안된 CNN 기반 접근법이 단일 픽셀 영상 및 SIM과 같은 다른 간섭 영상 시스템으로 일반화될 수 있는가?
• RQ4 표준 방법에 비해 곱셈 레이어 네트워크를 사용한 푸리에 진폭 투영의 성능 향상은 어느 정도인가?
• RQ5 현대적인 딥러닝 라이브러리인 텐서플로우를 사용하여 프레임워크를 얼마나 빠르게 가속화하고 확장할 수 있는가?

주요 결과

• Adam 최적화기를 사용하면서 큰 배치 크기를 적용할 경우, 테스트된 모든 구성에서 일관되게 최고의 재구성 성능를 기록한다.
• 제안된 신경망 프레임워크는 전통적인 반복적 방법에 비해 수렴 속도와 강건성을 향상시켜 고해상도 영상 재구성을 가능하게 한다.
• 곱셈 레이어 네트워크를 통한 푸리에 진폭 투영의 구현은 위상 복원 과정을 크게 가속화한다.
• 신경망 기반 접근법을 통해 구조화된 조명 현미경(SIM)에서 4프레임을 사용한 해상도 두 배 증가를 성공적으로 구현하였다.
• 오픈소스 코드베이스는 재현 가능성을 보장하며 다양한 간섭 영상 응용 분야로의 적응을 촉진한다.
• 컨볼루션과 곱셈 연산을 사용하여 간섭 영상 및 비간섭 영상 시스템을 모두 모델링할 수 있는 일반화 가능한 프레임워크를 제공한다.