[논문 리뷰] GAN-enhanced Conditional Echocardiogram Generation

Amir H. Abdi, Teresa S.M. Tsang외 1명|arXiv (Cornell University)|2019. 11. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 7인용 수 6

한 줄 요약

이 논문은 심장 구조물(좌심실, 심장근육, 심방)의 세분화 마스크에서 고해상도 심장초음파 영상 프레임을 생성하기 위한 조건부 패치 기반 GAN을 제안한다. CAMUS 데이터셋을 사용하여, UNet 유사 생성자와 패치 기반 L2-대비 판별자에 의해 결정론적 매핑을 학습함으로써 입력 마스크와 일치하는 현실적인 초음파 합성 영상을 달성하며, 이는 준감독 학습 응용을 가능하게 한다.

ABSTRACT

Echocardiography (echo) is a common means of evaluating cardiac conditions. Due to the label scarcity, semi-supervised paradigms in automated echo analysis are getting traction. One of the most sought-after problems in echo is the segmentation of cardiac structures (e.g. chambers). Accordingly, we propose an echocardiogram generation approach using generative adversarial networks with a conditional patch-based discriminator. In this work, we validate the feasibility of GAN-enhanced echo generation with different conditions (segmentation masks), namely, the left ventricle, ventricular myocardium, and atrium. Results show that the proposed adversarial algorithm can generate high-quality echo frames whose cardiac structures match the given segmentation masks. This method is expected to facilitate the training of other machine learning models in a semi-supervised fashion as suggested in similar researches.

연구 동기 및 목표

• 초음파 영상 분석에서 레이블 부족 문제를 해결하기 위해 심장 구조물의 세분화 마스크에서 현실적인 초음파 영상 프레임을 생성한다.
• 심장 영상 세분화에서 준감독 학습을 향상시키기 위해 학습 데이터를 합성함으로써 데이터 증강을 수행한다.
• 조건부 GAN을 사용한 대비 이미지 생성 기법이 심장초음파 영상에 적용 가능한지 타당성을 검증한다.
• 스토케스틱 노이즈 없이 결정론적 이미지 합성을 통해 쌍체의 진짜 데이터를 활용한 구조적 정밀도 유지 및 모드 붕괴 방지를 탐색한다.

제안 방법

• 세분화 마스크에서 초음파 영상 프레임을 합성하기 위해 UNet 유사 생성자와 패치 기반 판별자를 갖춘 조건부 패치 기반 GAN을 사용한다.
• 학습 안정성 향상과 이진 교차 엔트로피 대비 정밀도 향상을 위해 대비 항목에 최소 제곱 오차(LSE) 손실을 적용한다.
• 생성된 영상과 진짜 초음파 영상 간의 픽셀 단위 평균 절대 오차를 사용하여 복원 손실을 적용한다.
• 생성자와 판별자를 각각 학습률 0.00013과 0.00015로 Adam 옵timizer를 사용해 엔드 투 엔드로 훈련한다.
• 지역적 현실성 강화와 이미지 패치를 마르코프 무작위 필드로 모델링하기 위해 16×16 패치 기반 식별을 적용한다.
• 생성자를 세분화 마스크(0: 배경, 1: 좌심실, 2: 심장근육, 3: 심방)로 조건화하여 구조별 특화된 이미지 합성을 유도한다.

실험 결과

연구 질문

• RQ1 세분화 마스크에서 심장 구조물의 조건부 GAN이 현실적인 심장초음파 영상 프레임을 생성할 수 있는가?
• RQ2 최소 제곱 오차 손실을 적용한 패치 기반 판별자를 사용할 경우, 기존 GAN 대비 생성된 초음파 영상의 품질과 현실성은 향상되는가?
• RQ3 재학습 없이도 다양한 심장 구조 조합(예: LV + 심장근육, LV + 심방, 모든 세 구조)에 일반화 가능한가?
• RQ4 스토케스틱 노이즈 없이 결정론적 훈련 프레임워크는 구조적 정밀도를 유지하고 모드 붕괴를 방지하는 데 얼마나 효과적인가?
• RQ5 생성된 영상가 입력 세분화 마스크에 명시된解부학적 구조와 얼마나 잘 일치하는가?

주요 결과

• 제안된 방법은 모든 다섯 가지 테스트 조건에서 입력 세분화 마스크와 시각적으로 일치하는 고품질의 심장초음파 영상 프레임을 성공적으로 생성한다.
• 좌심실만, 좌심실 + 심장근육, 좌심실 + 심방, 모든 세 구조 조합으로 훈련된 모델은 생성된 영상에서 일관되고 해부학적으로 타당한 심장 구조를 생성한다.
• 생성자가 세분화 마스크에서 초음파 영상 프레임으로의 결정론적 매핑을 학습함을 입증하기 위해 출력에 스토케스틱 변동성이 없음을 확인할 수 있다.
• 생성된 영상에는 현실적인 질감과 대비가 구현되어 있으며, 특히 좌심실 영역에서 CAMUS 데이터셋의 실제 초음파 영상과 유사하게 나타난다.
• 실제로 생성된 합성 초음파 영상 프레임을 통한 데이터 증강을 통해 준감독 학습의 가능성을 입증한다.
• 정량적 지표가 부족하나, 정성적 평가를 통해 생성된 이미지가 구조적 무결성을 유지하고 임상 및 훈련 응용에 시각적으로 타당함을 확인할 수 있다.