[논문 리뷰] Generative adversarial networks and adversarial methods in biomedical image analysis

Jelmer M. Wolterink, Konstantinos Kamnitsas외 2명|arXiv (Cornell University)|2018. 10. 24.

Advanced Image Processing Techniques참고 문헌 57인용 수 20

한 줄 요약

이 논문은 생물의학 영상 분석 분야에서 생성적 적대적 네트워크(GANs)와 적대적 방법에 대한 종합적인 개요를 제공한다. GANs가 생성자와 판별자 간의 적대적 훈련을 통해 실제적인 영상 합성과 분할, 모odalit이 변환, 잡음 제거 등의 작업을 향상시키는 방식을 설명한다. 주요 기여는 의료 영상 분야에서의 응용, 강점, 한계 및 향후 연구 방향에 대한 체계적인 리뷰이다.

ABSTRACT

Generative adversarial networks (GANs) and other adversarial methods are based on a game-theoretical perspective on joint optimization of two neural networks as players in a game. Adversarial techniques have been extensively used to synthesize and analyze biomedical images. We provide an introduction to GANs and adversarial methods, with an overview of biomedical image analysis tasks that have benefited from such methods. We conclude with a discussion of strengths and limitations of adversarial methods in biomedical image analysis, and propose potential future research directions.

연구 동기 및 목표

• 생물의학 영상 분석을 위한 프레임워크로 생성적 적대적 네트워크(GANs)와 적대적 방법을 소개하기 위해.
• 의료 영상 분야에서 GANs의 응용, 즉 영상 합성, 분할, 모달리티 변환, 잡음 제거 등을 검토하기 위해.
• 특히 데이터의 정밀도와 환상적 위험에 대한 임상적 맥락에서의 적대적 방법의 강점과 한계를 분석하기 위해.
• 작업 특화 잠재 공간 적응 및 이상 징후 탐지용 분포 모델링과 같은 향후 연구 방향을 식별하기 위해.
• 수작업 손실 함수를 설계하기 어려운 경우에 특히 책임감 있는 방식으로 적대적 기법을 적용하는 데 연구자들을 안내하기 위해.

제안 방법

• 랜덤 노이즈를 합성 영상으로 매핑하는 생성자 네트워크와 실제 샘플과 가짜 샘플을 구분하는 판별자 네트워크를 갖춘 생성적 적대적 네트워크(GAN) 프레임워크를 사용한다.
• 최소-최대(minimax) 훈련을 통해 GAN을 최적화한다: 생성자는 가짜 샘플을 탐지하는 판별자의 능력을 최소화하고, 판별자는 분류 정확도를 최대화한다.
• 분류 모델(예: 분할 네트워크)에 적대적 손실을 정규화 요소로 사용하여 위상적 타당성과 시각적 현실감을 향상시킨다.
• 쌍체가 없는 영상 간 변환(예: MRI에서 CT로)을 위해 CycleGANs를 적용하여, 훈련 데이터가 쌍으로 제공되지 않더라도 모달리티 합성 가능성을 확보한다.
• 공유된 잠재 공간에서 특징 분포를 정렬함으로써 도메인 적응을 구현하고, 도메인 간 이동을 줄이며 작업에 관련된 정보를 유지한다.
• 적대적 피드백을 활용하여 영상 복원 및 합성을 향상시키며, 특히 저선량 또는 희소 채취 조건에서 현실적인 출력 분포를 유도한다.

실험 결과

연구 질문

• RQ1 GANs를 어떻게 효과적으로 활용하여 생물의학 영상 분할 결과의 현실성과 구조적 일致성을 향상시킬 수 있는가?
• RQ2 특히 정보 환상적 위험에 대해, 쌍체가 없는 영상 간 변환을 위한 GANs를 의료 영상에서 사용할 때의 주요 과제는 무엇인가?
• RQ3 수작업 손실 함수를 정의하기 어려운 경우, 적대적 손실이 생물의학 영상 분석에서 딥 러닝 모델의 성능을 어떻게 향상시키는가?
• RQ4 GAN이 생성한 영상에서 고주파 잡음이 자동 분할이나 진단과 같은 후속 분석에 어떤 영향을 미치는가?
• RQ5 적대적 방법이 건강한 환자 영상의 분포를 학습하여 이상 징후를 이 분포에서의 이탈로 탐지하는 데 어떤 역할을 할 수 있는가?

주요 결과

• 적대적 훈련은 분할 맵의 위상적 품질을 크게 향상시켜 구멍이나 조각을 줄여 임상적으로 더 타당한 출력을 가능하게 한다.
• GANs를 통해 쌍체가 없는 훈련 데이터가 있어도 MRI에서 CT로의 고해상도 영상 변환을 가능하게 하며, CycleGANs와 사이클 일致성 제약 조건을 활용한다.
• 영상 공간에서의 영상 간 변환은 원본 도메인에 존재하지 않는 구조를 환상적으로 생성할 수 있으며, 특히 MR에서 볼 수 있는 해부학적 구조와 CT에서 볼 수 있는 해부학적 구조 간의 모달리티 특화 특징이 존재할 경우 더욱 심각한 문제가 발생할 수 있다.
• 작업 특화 잠재 공간에서의 매핑은 불필요하거나 허구적인 정보를 인코딩할 위험을 줄여 전체 영상 공간 변환에 비해 더 강건하고 해석 가능성을 향상시킨다.
• 적대적 피드백은 전통적인 손실 함수에 의존하지 않고도 시각적 현실감을 증진함으로써, 특히 저선량 또는 부족한 샘플링 조건에서 영상 복원 및 합성에 도움을 준다.
• 장점이 있음에도 불구하고, GANs는 훈련 안정성과 평가 문제를 겪으며, 생성된 샘플에 미세한 잡음이 존재해 후속 진단 신뢰도를 해칠 수 있다.