[논문 리뷰] Overview of image-to-image translation by use of deep neural networks: denoising, super-resolution, modality conversion, and reconstruction in medical imaging

Shizuo Kaji, Satoshi Kida|arXiv (Cornell University)|2019. 05. 21.

Advanced Image Processing Techniques참고 문헌 50인용 수 9

한 줄 요약

이 논문은 의료 영상에서 깊이 있는 신경망을 사용한 이미지 간 번역에 대한 종합적인 개요를 제공하며, 노이즈 제거, 초해상도, 모odalitiy 변환 및 재구성에 중점을 둡니다. 이는 쌍체 데이터에 적합한 기초 아키텍처로 pix2pix와 비쌍체 데이터에 적합한 기초 아키텍처로 CycleGAN을 제시하며, 실용적 구현과 임상 적용 분야의 추가 연구를 가능하게 하기 위해 오픈소스 구현과 튜토리얼을 제공합니다.

ABSTRACT

Since the advent of deep convolutional neural networks (DNNs), computer vision has seen an extremely rapid progress that has led to huge advances in medical imaging. This article does not aim to cover all aspects of the field but focuses on a particular topic, image-to-image translation. Although the topic may not sound familiar, it turns out that many seemingly irrelevant applications can be understood as instances of image-to-image translation. Such applications include (1) noise reduction, (2) super-resolution, (3) image synthesis, and (4) reconstruction. The same underlying principles and algorithms work for various tasks. Our aim is to introduce some of the key ideas on this topic from a uniform point of view. We introduce core ideas and jargon that are specific to image processing by use of DNNs. Having an intuitive grasp of the core ideas of and a knowledge of technical terms would be of great help to the reader for understanding the existing and future applications. Most of the recent applications which build on image-to-image translation are based on one of two fundamental architectures, called pix2pix and CycleGAN, depending on whether the available training data are paired or unpaired. We provide computer codes which implement these two architectures with various enhancements. Our codes are available online with use of the very permissive MIT license. We provide a hands-on tutorial for training a model for denoising based on our codes. We hope that this article, together with the codes, will provide both an overview and the details of the key algorithms, and that it will serve as a basis for the development of new applications.

연구 동기 및 목표

• 노이즈 제거, 초해상도, 모달리티 변환 등의 다양한 의료 영상 처리 작업을 이미지 간 번역의 공통 프레임워크로 통합하기 위해.
• 의료 영상 분야의 실무자들을 위해 딥 뉴럴 네트워크 기반의 이미지 번역의 핵심 원리와 기술 용어를 명확히 하기 위해.
• 쌍체 및 비쌍체 데이터 세트에서 pix2pix 및 CycleGAN 아키텍처를 사용해 모델을 훈련시키기 위한 접근 가능하고 잘 문서화된 코드를 MIT 라이선스 하에 제공하기 위해.
• 제공된 코드베이스를 사용해 노이즈 제거 모델을 훈련시키는 데 있어 연구자들을 안내하기 위해.
• 신뢰할 수 있는 임상 적용을 위해 데이터 기반 딥러닝과 영역 특화 지식을 융합하는 중요성을 강조하기 위해.

제안 방법

• 모든 목표 작업을 이미지 간 번역 문제로 간주하고, 입력 영상에서 출력 영상로의 매핑을 학습하기 위해 깊이 있는 합성 신경망(DNNs)을 활용합니다.
• 쌍체 데이터에 대해 pix2pix 아키텍처를 사용하며, 입력에서 출력으로의 조건부 매핑을 학습하기 위해 생성적 적대적 훈련을 사용하는 인코더-디코더 구조를 적용합니다.
• 비쌍체 데이터에 대해 CycleGAN 아키텍처를 적용하며, 정렬된 훈련 쌍이 필요 없이 매핑을 학습하기 위해 사이클 일致성 조건을 강제로 적용합니다.
• 생성적 적대적 네트워크(GANs)와 인코더-디코더 아키텍처를 통합하여 생성된 이미지의 정서적 품질과 구조적 정확도를 향상시킵니다.
• L2 및 인지적 손실 함수를 사용한 훈련 파이프라인을 구현하고, 엔드 투 엔드 훈련을 위해 Adam 최적화기를 사용합니다.
• 기본 하이퍼파rameter를 포함한 모듈식 코드베이스를 제공하며, 튜닝을 위한 확장성과 CPU 또는 GPU에서의 추론을 지원합니다.

실험 결과

연구 질문

• RQ1 노이즈 제거 및 초해상도와 같은 다양한 의료 영상 처리 작업이 이미지 간 번역 프레임워크 아래 어떻게 통합될 수 있는가?
• RQ2 의료 영상 적용 분야에서 pix2pix(쌍체 데이터)와 CycleGAN(비쌍체 데이터) 간의 핵심 아키텍처적 차이점과 성능 상의 상충 관계는 무엇인가?
• RQ3 사전 훈련된 DNN 모델이 다양한 영상 프로토콜, 스캐너 또는 환자 집단 간에 얼마나 일반화될 수 있는가?
• RQ4 모델 기반 접근법과 데이터 기반 접근법을 융합함으로써 DNN 기반 이미지 번역의 신뢰성과 임상 사용 가능성을 어떻게 향상시킬 수 있는가?
• RQ5 실제 의료 영상 워크플로우에서 하이퍼파rameter 조정과 훈련된 모델 배포의 실질적 과제는 무엇인가?

주요 결과

• pix2pix와 CycleGAN 아키텍처는 노이즈 제거, 초해상도, 교차 모달리티 합성과 같은 다양한 의료 영상 번역 작업에 대한 기초적인 프레임워크로 기능합니다.
• 트레이닝된 모델은 GPU 없이도 초당 수십 장의 DICOM 이미지를 처리할 수 있어 임상 환경에서 실시간 추론이 가능합니다.
• 성능는 데이터 유사도에 매우 의존하며, 특정 스캐너 유형이나 노이즈 특성에서 훈련된 모델은 재학습 없이 새로운 데이터 세트에 일반화되지 않을 수 있습니다.
• 최적의 성능를 얻기 위해 하이퍼파rameter 조정이 필수적이지만, 기본 설정값은 합리적인 시작점이 됩니다.
• 딥러닝에 영역 특화 지식을 통합하면 특히 데이터가 적은 상황에서 강건성과 신뢰성이 향상됩니다.
• 저자들은 DNN이 신중한 사용을 통해 강력한 도구가 될 수 있음을 입증하며, 임상 안전성과 해석 가능성 확보를 위해 모델 기반 및 데이터 기반 방법을 융합한 하이브리드 접근법을 권장합니다.