[논문 리뷰] PgNN: Physics-guided Neural Network for Fourier Ptychographic Microscopy

Yongbing Zhang, Yangzhe Liu외 5명|arXiv (Cornell University)|2019. 09. 19.

Advanced X-ray Imaging Techniques참고 문헌 39인용 수 5

한 줄 요약

이 논문은 고해상도, 광시야각 영상 재구성에 있어 지표 레이블이나 대규모 애너테이션 데이터셋이 필요하지 않은 물리학 기반 신경망인 PgNN를 제안한다. 전방 영상 과정을 해석 가능한 물리적 제약 조건—예를 들어 총 변동성 정규화 및 제르니크 다항식 기반의 왜곡 보정—을 갖춘 학습 가능한 신경망으로 모델링함으로써, PgNN는 고도의 레이저 초점 불일치 및 고노출 조건에서도 비지도, 강건한 재구성을 가능하게 하여 시뮬레이션 및 실험 데이터셋 모두에서 전통적 방법을 능가한다.

ABSTRACT

Fourier ptychography (FP) is a newly developed computational imaging approach that achieves both high resolution and wide field of view by stitching a series of low-resolution images captured under angle-varied illumination. So far, many supervised data-driven models have been applied to solve inverse imaging problems. These models need massive amounts of data to train, and are limited by the dataset characteristics. In FP problems, generic datasets are always scarce, and the optical aberration varies greatly under different acquisition conditions. To address these dilemmas, we model the forward physical imaging process as an interpretable physics-guided neural network (PgNN), where the reconstructed image in the complex domain is considered as the learnable parameters of the neural network. Since the optimal parameters of the PgNN can be derived by minimizing the difference between the model-generated images and real captured angle-varied images corresponding to the same scene, the proposed PgNN can get rid of the problem of massive training data as in traditional supervised methods. Applying the alternate updating mechanism and the total variation regularization, PgNN can flexibly reconstruct images with improved performance. In addition, the Zernike mode is incorporated to compensate for optical aberrations to enhance the robustness of FP reconstructions. As a demonstration, we show our method can reconstruct images with smooth performance and detailed information in both simulated and experimental datasets. In particular, when validated in an extension of a high-defocus, high-exposure tissue section dataset, PgNN outperforms traditional FP methods with fewer artifacts and distinguishable structures.

연구 동기 및 목표

• 푸리에 페르티코그래픽(FP) 현미경에서 레이블이 있는 데이터셋의 부족성과 광학 왜곡의 변동성을 해결하기 위해.
• 신경망 프레임워크에 광학 영상 원리를 통합하여 대규모 지도 학습 데이터에 대한 의존도를 줄이기 위해.
• 복잡한 도메인 영상(진폭 및 위상)의 비지도, 고정밀 재구성을 가능하게 하여 레이저 초점 불일치 및 노출 아티팩트에 대한 강건성을 향상시키기 위해.
• 광학 왜곡에 대한 사전 지식 없이도 동시에 샘플 영상과 목적렌즈의 투과 함수를 복원하기 위해.

제안 방법

• 재구성된 복소 영상이 학습 가능한 파rameter로 간주되는, 기울기 가능 신경망으로 전방 푸리에 페르티코그래픽 영상 과정을 모델링한다.
• 예측된 영상 강도와 캡처된 강도 영상 간의 데이터 일치 손실을 최소화하기 위해 물체 및 투과 함수를 반복적으로 업데이트하는 교차 최적화 기법을 사용한다.
• 진폭 및 위상 성분 모두에서 노이즈를 억제하고 영상의 매끄러움을 향상시키기 위해 총 변동성(TV) 정규화를 적용한다.
• 투과 함수의 광학 왜곡을 모델링하고 보정하기 위해 Zernike 다항식을 학습 가능한 기저로 통합한다.
• 지표 데이터나 사전 왜곡 데이터가 필요 없이 저해상도, 각도가 변한 강도 영상만을 사용하여 비지도 방식으로 네트워크를 학습한다.
• 기울기 역전파를 전방 모델의 기울기 가능 구조를 통해 활용하여 영상 및 투과 함수의 엔드 투 엔드 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 물리학 기반 신경망은 대규모 레이블이 있는 데이터셋이 필요 없이 고해상도 푸리에 페르티코그래픽 영상을 재구성할 수 있는가?
• RQ2 총 변동성 정규화를 통합할 경우 FP 재구성에서 영상 품질 향상과 아티팩트 억제에 어떤 영향을 미치는가?
• RQ3 Zernike 모드 표현 방식은 다양한 영상 조건에서 광학 왜곡에 대한 강건성을 어느 정도 향상시킬 수 있는가?
• RQ4 고도의 레이저 초점 불일치 및 고노출 조건과 같은 도전적인 영상 시나리오에서, 비지도 PgNN 프레임워크는 ePIE와 같은 전통적 반복적 방법보다 어떻게 비교되는가?

주요 결과

• PgNN는 특히 고도의 레이저 초점 불일치 및 고노출 조건에서 ePIE보다 뛰어난 영상 재구성 품질을 달성하여 아티팩트가 적고 세포 구조가 더 선명하게 나타난다.
• 총 변동성 정규화의 통합은 특히 미세한 디테일 영역에서 노이즈 억제와 영상 매끄러움 향상에 크게 기여한다.
• Zernike 모드 보정은 다양한 촬영 조건에서 광학 왜곡을 정확히 모델링하여 재구성의 강건성을 향상시킨다.
• 지표 데이터나 사전 왜곡 지식 없이도 PgNN는 고해상도 진폭 및 위상 영상을 성공적으로 복원하여 시뮬레이션 및 실험 데이터셋 모두에서 뛰어난 일반화 능력을 입증한다.
• TV 및 Zernike를 포함한 완전한 PgNN 모델은 이러한 구성 요소가 없는 모델보다 영상의 시각적 및 정량적 측면에서 지표 영상에 더 가까운 재구성을 생성한다.