[논문 리뷰] High-throughput, high-resolution registration-free generated adversarial network microscopy

Hao Zhang, Xinlin Xie외 4명|arXiv (Cornell University)|2018. 01. 07.

Image Processing Techniques and Applications참고 문헌 42인용 수 8

한 줄 요약

이 논문은 합성 저해상도 이미지로 훈련된 생성 적대 신경망(GAN)을 사용하여 등록 불필요, 고속도, 고해상도 초해상도 현미경 기법을 제안한다. 학습된 이미지 열화 모델과 적대적 훈련을 활용하여, 기존 현미경의 하드웨어 수정 없이 단일 저해상도 측정치로부터 기가픽셀 크기의 다색 고해상도 이미지(1.7 μm 해상도)를 1초 이내로 복원한다.

ABSTRACT

We combine generative adversarial network (GAN) with light microscopy to achieve deep learning super-resolution under a large field of view (FOV). By appropriately adopting prior microscopy data in an adversarial training, the neural network can recover a high-resolution, accurate image of new specimen from its single low-resolution measurement. Its capacity has been broadly demonstrated via imaging various types of samples, such as USAF resolution target, human pathological slides, fluorescence-labelled fibroblast cells, and deep tissues in transgenic mouse brain, by both wide-field and light-sheet microscopes. The gigapixel, multi-color reconstruction of these samples verifies a successful GAN-based single image super-resolution procedure. We also propose an image degrading model to generate low resolution images for training, making our approach free from the complex image registration during training dataset preparation. After a welltrained network being created, this deep learning-based imaging approach is capable of recovering a large FOV (~95 mm2), high-resolution (~1.7 μm) image at high speed (within 1 second), while not necessarily introducing any changes to the setup of existing microscopes.

연구 동기 및 목표

• 훈련 중 이미지 등록이 필요하지 않은 고속도, 고해상도 초해상도 현미경 영상 촬영을 가능하게 하기 위해.
• 다수의 저해상도 영상 정렬이 정밀하게 필요한 전통적 초해상도 방법의 한계를 극복하기 위해.
• 다양한 생물 샘플과 현미경 모드에 일반화되는 딥 러닝 프레임워크를 개발하기 위해.
• 실제로 쌍화된 고해상도 및 저해상도 이미지 컬렉션의 필요성을 제거하기 위해 학습된 이미지 열화 모델을 활용해 합성 데이터 생성을 위해.
• 기존 현미경 하드웨어를 사용하여 기가픽셀 스케일의 다색 영상에서 마이크론 이하 해상도로 실시간 복원을 달성하기 위해.

제안 방법

• 단일 저해상도(LR) 영상에서 고해상도(HR) 복원 영상을 매핑하기 위해 적대적 손실과 인지적 손실을 사용하는 조건부 생성 적대 신경망(cGAN)을 훈련한다.
• 실제로 존재하는 LR-HR 쌍이 필요 없도록, HR 참조값에서 현실적인 LR 영상을 합성하기 위해 가분성 있는 이미지 열화 모델을 도입한다.
• 합성된 LR 입력과 실제 LR 측정치 간의 분포 일致성을 확보하기 위해 GAN과 함께 엔드 투 엔드로 열화 모델을 훈련한다.
• 미국 방위부(USAF) 목표물, 병리 슬라이드, 형광 세포, 청색 처리된 마우스 뇌 조직 등 다양한 생물 샘플을 기반으로 네트워크를 훈련한다.
• 광역 및 라이트시트 현미경 시스템에 모두 적용되어 다양한 영상 모드 간 복원을 가능하게 한다.
• 추론은 실시간으로 수행되며, 기가픽셀 크기의 HR 복원 영상(최대 약 95 mm²)을 1초 이내로 생성한다.

실험 결과

연구 질문

• RQ1 GAN 기반 초해상도 방법이 단일 저해상도 측정치에서 이미지 등록 없이 고해상도 영상 촬영을 가능하게 할 수 있는가?
• RQ2 합성된 열화된 이미지 분포가 다양한 생물 샘플의 실제 현미경 데이터에 얼마나 잘 일반화되는가?
• RQ3 기가픽셀 스케일 복원에서 미세한 구조적 세부 사항과 다색 정확도를 얼마나 잘 유지할 수 있는가?
• RQ4 광역 및 라이트시트 현미경을 포함한 다양한 현미경 플랫폼에 하드웨어 수정 없이 적용 가능한가?
• RQ5 실제로 등록 불필요한 GAN 기반 초해상도 파이프라인의 해상도와 복원 속도는 어느 정도인가?

주요 결과

• 단일 저해상도 입력에서 약 1.7 μm 해상도로 고해상도 복원을 달성하여 원래 현미경의 회절 한계를 크게 초월한다.
• 기가픽셀 스케일 복원 영상(최대 약 95 mm²)을 1초 이내로 생성하여 고속도 영상 촬영을 가능하게 한다.
• 미국 방위부(USAF) 해상도 목표물, 인간 병리 슬라이드, 형광 섬유아세포, 청색 처리된 전세계 마우스 뇌 조직 등 다양한 샘플에서 뛰어난 성능을 보였다.
• 학습된 열화 모델을 사용함으로써 데이터셋 준비 중 복잡한 이미지 등록이 필요 없어져 훈련 과정이 단순화된다.
• 광역 및 라이트시트 현미경을 포함한 다양한 현미경 모드 간에 일반화되며 하드웨어 변경 없이 적용 가능하다.
• 실제 생물학적 표본에 대한 시각적 및 정량적 평가를 통해 다색 정확도와 미세한 구조적 세부 사항을 잘 유지하는 것으로 확인되었다.