[논문 리뷰] Attaining Real-Time Super-Resolution for Microscopic Images Using GAN

Vibhu Bhatia, Yatender Kumar|arXiv (Cornell University)|2020. 10. 09.

Advanced Image Processing Techniques참고 문헌 36인용 수 5

한 줄 요약

이 논문은 실시간 초해상도를 구현하기 위해 수정된 SRGAN 아키텍처를 제안하며, 생성기 설계를 개선하고 판별기 내에 전역 평균 풀링 레이어를 도입하여 미세망막 영상에 적합한 실시간 초해상도를 달성한다. 배치 정규화를 제거하고 타일링 전략을 사용함으로써 추론 시간을 64×64 패치당 0.051초로 단축시켜 표준 GPU에서 24.2 FPS 영상 처리가 가능하게 하였으며, 높은 인지적 품질과 다양한 도메인 간 일반화 능력을 유지한다.

ABSTRACT

In the last few years, several deep learning models, especially Generative Adversarial Networks have received a lot of attention for the task of Single Image Super-Resolution (SISR). These methods focus on building an end-to-end framework, which produce a high resolution(SR) image from a given low resolution(LR) image in a single step to achieve state-of-the-art performance. This paper focuses on improving an existing deep-learning based method to perform Super-Resolution Microscopy in real-time using a standard GPU. For this, we first propose a tiling strategy, which takes advantage of parallelism provided by a GPU to speed up the network training process. Further, we suggest simple changes to the architecture of the generator and the discriminator of SRGAN. Subsequently, We compare the quality and the running time for the outputs produced by our model, opening its applications in different areas like low-end benchtop and even mobile microscopy. Finally, we explore the possibility of the trained network to produce High-Resolution HR outputs for different domains.

연구 동기 및 목표

• 딥 러닝을 활용한 초해상도를 실시간으로 달성하는 데 있어 마이크로스코피 응용 분야의 과제를 해결한다.
• SRGAN과 같은 기존 GAN 기반 초해상도 모델의 인지적 품질과 추론 속도를 향상시킨다.
• 계산 지연을 줄여 저성능 및 모바일 마이크로스코피 플랫폼에의 배포를 가능하게 한다.
• 학습된 모델의 교차 도메인 일반화 능력을 비마이크로스코피 및 다양한 영상 도메인에서 평가한다.
• 실시간 영상 처리를 위한 라이브 마이크로스코피 응용 분야에 최적화된 모델을 개발한다.

제안 방법

• GPU의 병렬 처리를 활용하기 위해 큰 영상을 작은 패치로 나누는 타일링 전략을 제안하여 효율적인 학습 및 추론을 가능하게 한다.
• 생성기의 아키텍처를 수정하여 전치 컨볼루션을 서브픽셀 컨볼루션 레이어로 대체함으로써 특징 학습을 향상시키고 체크리스트 아티팩트를 감소시킨다.
• 생성기의 잔차 블록을 잔차-내-잔차 밀집 블록(RRDBs)으로 교체하여 특징 전파 및 학습 능력을 향상시킨다.
• 판별기 내에 전역 평균 풀링(GAP) 레이어를 도입하여 기울기 흐름을 개선하고 학습을 안정화시킨다.
• 배치 정규화 레이어를 제거하여 모델 파라미터 수와 추론 시간을 감소시켜 실시간 성능을 향상시킨다.
• 이중선형 보간을 사용해 저해상도 입력을 생성하고, 인간 단백질 아틀라스 데이터셋을 기반으로 마이크로스코피 전용 향상에 대해 엔드 투 엔드로 모델을 학습시킨다.

실험 결과

연구 질문

• RQ1 SRGAN에 대한 아키텍처 수정이 마이크로스코피 영상 초해상도에서 인지적 품질과 추론 속도를 동시에 향상시킬 수 있는가?
• RQ2 배치 정규화를 제거하면 실시간 응용 분야에서 추론 속도와 모델 성능에 어떤 영향을 미치는가?
• RQ3 마이크로스코피 영상에서 학습된 모델이 자연 영상 및 생물의학적 히스토로지 도메인과 같은 다른 도메인으로 얼마나 잘 일반화되는가?
• RQ4 타일링 전략이 품질 저하 없이 큰 마이크로스코피 영상 처리에 효과적으로 확장될 수 있는가?
• RQ5 비디오 마이크로스코피 데이터에 적용했을 때 실시간 초해상도의 구현 가능한 프레임 레이트는 얼마인가?

주요 결과

• 수정된 SRGAN은 테스트 세트에서 PSNR 33.873 dB, SSIM 0.832를 기록하여 기준 SRGAN 및 기타 방법보다 인지적 품질에서 뛰어난 성능을 보였다.
• 단일 64×64 패치에 대한 추론 시간은 0.051초로 단축되어 비디오 데이터에서 24.2 FPS의 실시간 처리가 가능했다.
• 배치 정규화 제거로 인해 패치당 추론 시간은 0.041초로 감소하고 FPS는 25.7로 증가하여 속도 향상에 긍정적 영향을 미친 것으로 확인되었다.
• 모델은 교차 도메인 입력에 대해 일반화되었으며, 자연 영상(Set 14), 형광 마이크로스코피, 쥐 뇌 절편 등에 대해 신뢰할 수 있는 초해상도 출력을 생성했다.
• 교차 도메인 영상에서 밝거나 흰 영역에 대해서는 성능이 떨어졌는데, 이는 학습 데이터에 유사한 특징이 없었기 때문일 가능성이 높다.
• MOS 테스트 결과, 모델의 출력이 기준 방법보다 실제 영상에 더 가까운 인지적 품질을 보였으며, 이는 시각적 품질 향상의 타당성을 입증했다.