[논문 리뷰] A Two-Stream Mutual Attention Network for Semi-supervised Biomedical Segmentation with Noisy Labels

Shaobo Min, Xuejin Chen외 3명|arXiv (Cornell University)|2018. 07. 31.

Multimodal Machine Learning Applications참고 문헌 26인용 수 7

한 줄 요약

이 논문은 부분적인 애너테이션만 존재할 때도 HVSMR 2016 및 BRATS 2015 벤치마크에서 최신 기술 수준을 넘어서는 성능을 달성하는, 반감독 생물의학 영상 분할을 위한 이중 스트림 상호 주의 네트워크(TSMAN)를 제안한다. 이 방법은 이중 스트림 특징 상호작용과 다중 수준 주의 메커니즘을 통해 잘못된 기울기의 영향을 억제함으로써 노이즈가 있는 레이블에 대한 강건성을 향상시킨다.

ABSTRACT

\begin{abstract} Learning-based methods suffer from a deficiency of clean annotations, especially in biomedical segmentation. Although many semi-supervised methods have been proposed to provide extra training data, automatically generated labels are usually too noisy to retrain models effectively. In this paper, we propose a Two-Stream Mutual Attention Network (TSMAN) that weakens the influence of back-propagated gradients caused by incorrect labels, thereby rendering the network robust to unclean data. The proposed TSMAN consists of two sub-networks that are connected by three types of attention models in different layers. The target of each attention model is to indicate potentially incorrect gradients in a certain layer for both sub-networks by analyzing their inferred features using the same input. In order to achieve this purpose, the attention models are designed based on the propagation analysis of noisy gradients at different layers. This allows the attention models to effectively discover incorrect labels and weaken their influence during the parameter updating process. By exchanging multi-level features within the two-stream architecture, the effects of noisy labels in each sub-network are reduced by decreasing the updating gradients. Furthermore, a hierarchical distillation is developed to provide more reliable pseudo labels for unlabelded data, which further boosts the performance of our retrained TSMAN. The experiments using both the HVSMR 2016 and BRATS 2015 benchmarks demonstrate that our semi-supervised learning framework surpasses the state-of-the-art fully-supervised results.

연구 동기 및 목표

• 전문가 애너테이션이 부족하고 오류가 발생하기 쉬운 생물의학 영상 분할에서 노이즈가 있는 레이블 문제를 해결하기 위해.
• 노이즈가 있는 가짜 레이블에서 기인한 잘못된 기울기의 영향을 줄임으로써 반감독 학습 중 모델의 강건성을 향상시키기 위해.
• 표준 모델 또는 데이터 디스틸레이션보다 더 높은 품질의 가짜 레이블을 생성하는 계층적 디스틸레이션 방법을 개발하기 위해.
• 교차 네트워크 오류 탐지 및 기울기 억제를 가능하게 하는 다중 수준 주의를 갖춘 이중 스트림 아키텍처를 설계하기 위해.
• 일부 깨끗한 레이블만 존재할 때도 반감독 프레임워크가 완전히 감독된 기준 모델을 능가할 수 있음을 입증하기 위해.

제안 방법

• TSMAN 프레임워크는 네트워크의 다양한 깊이에서 세 가지 유형의 주의 메커니즘을 통해 두 개의 서브넷을 연결하여 잘못된 기울기를 탐지하고 억제한다.
• 각 주의 모듈은 레이어 간에 노이즈가 있는 레이블 전파를 분석한 바탕으로, 양 방향 스트림의 특징을 비교하여 잠재적으로 잘못된 기울기를 식별한다.
• 주의 모듈은 잘못된 예측과 관련된 기울기를 약화시켜, 노이즈가 있는 레이블로 인한 모델 품질 저하의 위험을 줄인다.
• 데이터와 모델 디스틸레이션을 통합한 계층적 디스틸레이션 전략을 통해 더 신뢰할 수 있는 가짜 레이블을 비라벨 데이터에 대해 생성한다.
• 프레임워크는 자기 훈련을 활용한다: 계층적 디스틸레이션을 통해 가짜 레이블을 생성하고, 이를 혼합된 라벨 및 가짜 레이블 데이터로 TSMAN을 재학습시킨다.
• 이 방법은 두 개의 3D MRI 벤치마크인 HVSMR 2016 및 BRATS 2015를 사용하여 평가되었으며, 성능은 Dice, ADB, HDD 및 평균 IOU로 측정되었다.

실험 결과

연구 질문

• RQ1 반감독 생물의학 영상 분할에서 노이즈가 있는 레이블로 인한 기울기를 효과적으로 탐지하고 억제할 수 있는 이중 스트림 상호 주의 메커니즘이 가능한가?
• RQ2 데이터 및 모델 디스틸레이션을 통합한 계층적 디스틸레이션이 단독으로 사용되는 경우보다 더 신뢰할 수 있는 가짜 레이블을 생성하는가?
• RQ3 부분적인 깨끗한 애너테이션만 존재할 때도 노이즈가 있는 가짜 레이블을 사용하는 반감독 학습 프레임워크가 완전히 감독된 모델을 능가할 수 있는가?
• RQ4 실제 생물의학 데이터셋인 HVSMR 2016 및 BRATS 2015와 같이 레이블이 불완전한 경우, 제안된 방법의 성능은 어떠한가?
• RQ5 경계 영역에서 오류가 가장 심각하게 영향을 미치는 영역에서 주의를 통한 기울기 억제가 분할 성능 향상에 얼마나 기여하는가?

주요 결과

• HVSMR 2016 데이터셋에서 TSMAN은 심장근육에 대해 0.820의 Dice 스코어와 혈관공간에 대해 0.926의 스코어를 기록했으며, 총합 스코어는 -0.024로, 완전히 감독된 모델을 포함한 모든 베이스라인을 능가했다.
• 경계 영역 평가에서 TSMAN은 최고의 베이스라인 대비 ADB에서 0.134 향상되고 HDD에서 8.07 향상되어 노이즈 레이블에 대한 강건성이 향상됨을 입증했다.
• BRATS 2015 데이터셋에서 TSMAN은 평균 Dice 스코어 0.792를 기록했으며, 동일한 훈련 프rotocol 하에서 완전히 감독된 U-Net(0.632)과 MME(0.782)를 모두 능가했다.
• ξ = 0.9일 때, TSMAN은 BRATS 2015에서 완전히 감독된 베이스라인(Tseng 등, 2017)을 능가했으며, 이는 노이즈가 있는 레이블을 사용하는 반감독 학습이 완전히 감독된 성능을 초월할 수 있음을 입증한다.
• 계층적 디스틸레이션 방법은 단독으로 사용되는 데이터 또는 모델 디스틸레이션보다 더 높은 품질의 가짜 레이블을 생성했으며, 이는 모델의 일반화 및 강건성 향상에 기여했다.
• 제거 분석 결과, 다중 수준 주의와 기울기 억제가 특히 어려운 분할 영역에서 노이즈 레이블의 영향을 크게 감소시켰음을 확인했다.