[논문 리뷰] High-throughput, high-resolution Generated Adversarial Network Microscopy.

Hao Zhang, Xinlin Xie외 4명|arXiv (Cornell University)|2018. 01. 07.

Image Processing Techniques and Applications참고 문헌 33인용 수 4

한 줄 요약

이 논문은 기존의 현미경 하드웨어를 수정하지 않고 단일 저해상도 입력에서부터 기가픽셀급 다색 이미지를 복원함으로써 고속·고해상도 광시야 초해상도 현미경을 가능하게 하는 GAN 기반 초해상도 방법을 제안한다. 적대적 훈련을 통해 이전의 현미경 데이터를 활용함으로써 95 mm²의 시야에서 1초 미만으로 약 1.7 µm 해상도를 달성한다.

ABSTRACT

We for the first time combine generated adversarial network (GAN) with wide-field light microscopy to achieve deep learning super-resolution under a large field of view (FOV). By appropriately adopting prior microscopy data in an adversarial training, the network can recover a high-resolution, accurate image of new specimen from its single low-resolution measurement. This capacity has been adequately demonstrated by imaging various types of samples, such as USAF resolution target, human pathological slides and fluorescence-labelled fibroblast cells. Their gigapixel, multi-color reconstructions verify a successful GAN-based single image super-resolution procedure. Furthermore, this deep learning-based imaging approach doesn;t necessarily introduce any change to the setup of a conventional wide-filed microscope, reconstructing large FOV (about 95 mm^2), high-resolution (about 1.7 {\mu}m) image at a high speed (in 1 second). As a result, GAN-microscopy opens a new way to computationally overcome the general challenge of high-throughput, high-resolution microscopy that is originally coupled to the physical limitation of system's optics.

연구 동기 및 목표

• 기존 광시야 현미경이 동시에 고해상도와 넓은 시야를 확보하는 데에 직면한 물리적 제약를 극복하기 위해.
• 대규모 기가픽셀 현미경 영상에 효과적으로 작동하는 딥러닝 기반 초해상도 방법을 개발하기 위해.
• 단일 저해상도 측정값으로부터 고속 재구성(1초 이내)을 가능하게 하기 위해.
• 기존 현미경 하드웨어를 변경하지 않고도 재구성된 이미지의 품질과 구조적 정확성을 유지하기 위해.

제안 방법

• 저해상도에서 고해상도 이미지로의 매핑을 학습하기 위해 이전의 현미경 데이터를 사용하여 생성 적대적 네트워크(GAN)를 훈련한다.
• 재구성된 이미지의 감각적 품질과 구조적 정확성을 향상시키기 위해 적대적 훈련을 적용한다.
• 단일 저해상도 입력으로부터 고해상도 이미지를 재구성하도록 네트워크를 최적화하며, 다색 및 미세한 구조적 세부 정보를 유지한다.
• 기존의 광시야 현미경과 호환되도록 설계되어, 하드웨어 수정이 필요하지 않다.
• 일반화 및 새로운 샘플에 대한 정확도 향상을 위해 실제 현미경 데이터를 훈련 과정에 통합한다.
• 엔드 투 엔드로 기가픽셀 이미지를 재구성할 수 있으며, 고공간 해상도(~1.7 µm)와 넓은 시야(~95 mm²)를 확보한다.

실험 결과

연구 질문

• RQ1 GAN 기반 접근법이 광시야 현미경에서 넓은 시야에서 고해상도 초해상도 영상 촬영을 달성할 수 있는가?
• RQ2 딥러닝 모델은 단일 저해상도 입력으로부터 미세한 구조적 세부 정보를 얼마나 정확하게 재구성할 수 있는가?
• RQ3 하드웨어 수정 없이도 고속 재구성(1초 이내)을 유지할 수 있는가?
• RQ4 적대적 훈련에 이전의 현미경 데이터를 사용할 경우 이미지의 품질과 해상도가 향상되는가?
• RQ5 이러한 방법은 다양한 생물학적 샘플, 특히 병리 슬라이드와 형광으로 표시된 세포 등에 일반화 가능한가?

주요 결과

• 이 방법은 단일 저해상도 입력으로부터 약 95 mm²의 시야를 가진 기가픽셀 다색 이미지를 성공적으로 재구성한다.
• 재구성된 이미지는 입력 저해상도 이미지보다 훨씬 높은 공간 해상도(약 1.7 µm)를 달성한다.
• 재구성 과정은 1초 이내에 완료되어 고속 영상 촬영이 가능하다.
• 이 방법은 미국 공군 분광표준(USAF) 해상도 목표물, 인간 병리 슬라이드, 형광으로 표시된 섬유아세포 등 다양한 샘플에서 뛰어난 성능을 보인다.
• 기존의 광시야 현미경 설정을 수정할 필요가 없어, 기존 하드웨어와의 호환성이 유지된다.
• 이전의 현미경 데이터를 활용한 적대적 훈련이 재구성된 이미지의 감각적 품질과 구조적 정확성을 향상시킨다.