[논문 리뷰] HAD-Net: A Hierarchical Adversarial Knowledge Distillation Network for Improved Enhanced Tumour Segmentation Without Post-Contrast Images

Saverio Vadacchino, Raghav Mehta외 4명|arXiv (Cornell University)|2021. 03. 30.

Advanced Neural Network Applications참고 문헌 31인용 수 8

한 줄 요약

HAD-Net는 계층적 적대적 지식 정련 프레임워크를 제안하여, 사전에 훈련된 교사 네트워크로부터 다중 해상도 특징 지식을 계층적 판별자를 통해 정련함으로써, T1ce 이미지를 필요로 하지 않고도 MRI에서 강화되는 뇌 종양을 정확하게 분할할 수 있도록 한다. 이 방법은 최신 기술 수준의 성능을 달성하여 기존 방법 대비 종양 강화 분할의 Dice 점수를 최대 26% 향상시키며, 불확실성 정량화를 크게 향상시킨다.

ABSTRACT

Segmentation of enhancing tumours or lesions from MRI is important for detecting new disease activity in many clinical contexts. However, accurate segmentation requires the inclusion of medical images (e.g., T1 post contrast MRI) acquired after injecting patients with a contrast agent (e.g., Gadolinium), a process no longer thought to be safe. Although a number of modality-agnostic segmentation networks have been developed over the past few years, they have been met with limited success in the context of enhancing pathology segmentation. In this work, we present HAD-Net, a novel offline adversarial knowledge distillation (KD) technique, whereby a pre-trained teacher segmentation network, with access to all MRI sequences, teaches a student network, via hierarchical adversarial training, to better overcome the large domain shift presented when crucial images are absent during inference. In particular, we apply HAD-Net to the challenging task of enhancing tumour segmentation when access to post-contrast imaging is not available. The proposed network is trained and tested on the BraTS 2019 brain tumour segmentation challenge dataset, where it achieves performance improvements in the ranges of 16% - 26% over (a) recent modality-agnostic segmentation methods (U-HeMIS, U-HVED), (b) KD-Net adapted to this problem, (c) the pre-trained student network and (d) a non-hierarchical version of the network (AD-Net), in terms of Dice scores for enhancing tumour (ET). The network also shows improvements in tumour core (TC) Dice scores. Finally, the network outperforms both the baseline student network and AD-Net in terms of uncertainty quantification for enhancing tumour segmentation based on the BraTs 2019 uncertainty challenge metrics. Our code is publicly available at: https://github.com/SaverioVad/HAD_Net

연구 동기 및 목표

• T1ce 이미지가 안전 우려로 인해 이용 불가능한 상황에서 MRI에서 정확한 강화 종양 분할을 해결하기 위해.
• 딥 러닝 기반 분할 모델에서 T1ce 시퀀스가 누락될 경우 발생하는 큰 도메인 이탈을 극복하기 위해.
• 분할 출력의 불확실성 정량화를 향상시켜 모델의 자신감을 정확히 반영하기 위해.
• 교사에서 학생 네트워크로 계층적이고 다중 해상도 특징 표현을 전달하는 지식 정련 프레임워크를 개발하기 위해.
• T1ce 영상이 없는 상황에서 기존의 모odal 무관 및 지식 정련 기반 분할 방법을 초월하기 위해.

제안 방법

• T1, T2, FLAIR, T1ce 모든 MRI 시퀀스에 액세스할 수 있는 사전 훈련된 교사 네트워크를 사용하여, 비대조 시퀀스만을 사용해 훈련된 학생 네트워크를 지도한다.
• 다중 해상도 스케일에서 교사의 잠재 특징을 학생 네트워크로 정련하기 위해 계층적 판별자를 도입한다.
• 각 스케일에서 적대적 훈련을 적용하여 학생의 특징 분포를 교사의 분포와 일치시킴으로써 도메인 이탈을 감소시킨다.
• 지식 정련은 오프라인으로 수행되어 학생이 추론 시 T1ce가 필요 없이 강건한 표현을 학습할 수 있도록 한다.
• 테스트 시점에 몬테 카를로 드롭아웃을 사용하여 분할 출력의 불확실성 추정을 생성한다.
• 모델은 BraTS 2019 데이터셋을 기반으로 훈련 및 평가되며, Dice 점수 및 불확실성 정량화 메트릭을 사용한다.

실험 결과

연구 질문

• RQ1 T1ce MRI 시퀀스가 누락된 상황에서 계층적 적대적 훈련을 사용한 지식 정련이 분할 성능 향상에 기여하는가?
• RQ2 제안된 HAD-Net 프레임워크는 대조 강화 영상 누락으로 인한 종양 분할의 도메인 이탈을 줄이는가?
• RQ3 T1ce 시퀀스가 없는 상황에서 HAD-Net은 U-HeMIS 및 U-HVED와 같은 모달리티 무관 분할 방법보다 어떻게 비교되는가?
• RQ4 HAD-Net은 예측이 올바를 때 자신감이 높고 오류일 때 불확실성이 높아지도록 불확실성 정량화를 향상시키는가?
• RQ5 판별자의 계층적 구조는 비계층적 대안보다 더 나은 특징 전달을 이끌어내는가?

주요 결과

• T1ce 이미지가 없는 상황에서 HAD-Net은 U-HVED 대비 강화 종양 분할의 Dice 점수를 26.0% 상승시켰다.
• BraTS 2019 데이터셋에서 HAD-Net은 U-HeMIS 대비 18.9% 향상되었고, KD-Net+ 대비 17.2% 향상되었다.
• 지식 정련 없이 기초 학생 네트워크를 사용한 경우 대비 HAD-Net은 강화 종양 Dice 점수에서 16.2% 향상되었다.
• 제안된 네트워크의 비계층적 버전인 AD-Net 대비 HAD-Net은 18.7% 향상되었다.
• HAD-Net은 통계적으로 유의미한 불확실성 정량화 향상을 보였으며, 낮은 불확실성 임계값에서 거짓 음성과 참 양성 간의 분리가 더 뚜렷했다.
• HAD-Net의 불확실성 추정은 더 신뢰할 수 있었으며, 높은 자신감 예측은 더 정확했고, 잘못된 예측는 더 두드러지게 불확실함으로 표시되었다.