[논문 리뷰] Multi-Task Generative Adversarial Network for Handling Imbalanced Clinical Data

Mina Rezaei, Haojin Yang외 1명|arXiv (Cornell University)|2018. 11. 22.

AI in cancer detection참고 문헌 16인용 수 11

한 줄 요약

이 논문은 임상 데이터에서의 클래스 불균형 문제를 해결하기 위해 병변 영역과 정상 조직의 세분화 및 질병 분류를 동시에 수행하는 다중 작업 생성적 적대 신경망(GAN)을 제안한다. 선택적 가중 손실을 조건부 GAN 아키텍처와 통합함으로써, 생성자는 세분화 및 분류 출력을 생성하고, 판별자는 진짜 출력과 생성된 출력을 구분한다. 이 모델은 ACDC-2017에서 최신 기술 수준(SOTA) 성능을 달성하였고, BraTS-2017에서는 경쟁적인 성능을 보였으며, 간질종 분류 정확도가 98.61%이고 심장 세분화 정확도가 94%였다.

ABSTRACT

We propose a new generative adversarial architecture to mitigate imbalance data problem for the task of medical image semantic segmentation where the majority of pixels belong to a healthy region and few belong to lesion or non-health region. A model trained with imbalanced data tends to bias towards healthy data which is not desired in clinical applications. We design a new conditional GAN with two components: a generative model and a discriminative model to mitigate imbalanced data problem through selective weighted loss. While the generator is trained on sequential magnetic resonance images (MRI) to learn semantic segmentation and disease classification, the discriminator classifies whether a generated output is real or fake. The proposed architecture achieved state-of-the-art results on ACDC-2017 for cardiac segmentation and diseases classification. We have achieved competitive results on BraTS-2017 for brain tumor segmentation and brain diseases classification.

연구 동기 및 목표

• 정상 조직이 병변 영역에 비해 훨씬 많아지는 의료 영상 세분화에서의 클래스 불균형 문제를 해결하기 위해.
• 학습 중 주로 정상(다수) 클래스에 대한 편향을 줄이고, 소수(비정상) 클래스에 대한 민감도를 향상시키기 위해.
• 기관 및 비정상 조직의 의미적 세분화와 질병 분류를 동시에 수행하는 통합된 딥 러닝 프레임워크를 개발하기 위해.
• 공유된 특징 표현을 통해 다중 작업 학습을 활용하여 세분화 및 분류 작업 양쪽의 성능을 향상시키기 위해.
• ACDC-2017 및 BraTS-2017와 같은 실제 임상 벤치마크에서 표준 평가 프로토콜에 따라 방법을 평가하기 위해.

제안 방법

• 제안된 아키텍처는 2D 다중 모odal MRI 시퀀스를 의미적 세분화 맵과 질병 분류 출력으로 매핑하는 조건부 GAN을 사용한다.
• 판별자는 생성자 출력이 진짜(정답)인지 가짜(생성됨)인지 평가하며, 패치 기반 적대적 손실을 사용한다.
• 세분화에 대해 선택적 가중 카테고리형 교차 엔트로피 손실이 적용되며, 클래스 가중치는 클래스 빈도의 역수에 비례하고 제곱근 정규화를 통해 극단적인 값을 방지한다.
• 질병 분류를 위해 추가로 가중된 ℓ1 손실이 사용되어 클래스 불균형 문제를 완화한다.
• 양방향 LSTM이 생성자 및 판별자에 통합되어 순차적인 MRI 슬라이스의 시간적 의존성을 모델링한다.
• 전체 손실는 적대적, 세분화, 분류 손실의 조합으로 구성되어 다중 작업 네트워크의 엔드 투 엔드 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 데이터 수준의 재샘플링에 의존하지 않고도 다중 작업 GAN 아키텍처가 의료 영상 세분화에서 클래스 불균형을 효과적으로 완화할 수 있는가?
• RQ2 선택적 가중 손실의 통합이 의미적 세분화에서 소수 클래스(병변)에 대한 민감도를 어떻게 향상시키는가?
• RQ3 세분화와 질병 분류의 공동 학습이 단일 작업 모델에 비해 두 작업의 성능을 얼마나 향상시킬 수 있는가?
• RQ4 적대적 학습을 통한 조건부 GAN 사용이 임상 영상에서 세분화 출력의 현실성과 정확도를 향상시키는가?
• RQ5 표준 벤치마크인 ACDC-2017 및 BraTS-2017에서 제안된 방법은 최신 기술 수준의 모델과 비교해 어떻게 성능을 내는가?

주요 결과

• 제안된 방법은 BraTS-2017에서 고급 및 저급 간질종 분류 정확도가 98.61%를 기록하여 이전의 캐스케이드 아키텍처를 능가했다.
• ACDC-2017에서 좌심실의 딱지 스코어는 0.95, 우심실은 0.93, 심장근육은 0.92였으며, 각각 하우스도르프 거리는 8.11mm, 8.17mm, 8.38mm였다.
• 심장 세분화 정확도는 심장수축기 및 심장이완기 단계에서 모두 94%였으며, ACDC 벤치마크에서 여러 상위 랭킹 모델을 능가했다.
• 선택적 가중 손실의 사용은 소수 클래스에 대한 민감도를 크게 향상시켰으며, BraTS-2017에서 전반적인 종양 영역의 민감도는 87%, 강화 종양은 88%였다.
• 155장의 뇌 MRI에 대해 58초의 추론 시간을 기록하여 임상 적용에 실용적인 가능성을 입증했다.
• ACDC-2017에서의 정성적 결과는 좌심실(빨간색), 우심실(파란색), 심장근육(초록색)의 정확한 세분화를 보였으며, 병변 영역에서의 잠재적 오진은 최소화되었다.