[논문 리뷰] Noisy Labels are Treasure: Mean-Teacher-Assisted Confident Learning for Hepatic Vessel Segmentation

Zhe Xu, Donghuan Lu외 6명|arXiv (Cornell University)|2021. 06. 03.

Advanced Neural Network Applications참고 문헌 27인용 수 4

한 줄 요약

이 논문은 저품질(노이즈가 있는) 간 혈관 주석을 활용하여 분할 성능을 향상시키기 위해 Mean-Teacher 기반의 Confident Learning(MTCL) 프레임워크를 제안한다. 교사 네트워크를 통해 Confident Learning를 통해 픽셀 단위의 레이블 보정을 유도함으로써, 노이즈가 있는 레이블을 '부담'에서 '보물'로 전환시키는 방법을 사용한다. 이로 인해 두 개의 공개 데이터셋에서 딱각 점수와 하우스도르프 거리에서 뛰어난 성능을 달성한다.

ABSTRACT

Manually segmenting the hepatic vessels from Computer Tomography (CT) is far more expertise-demanding and laborious than other structures due to the low-contrast and complex morphology of vessels, resulting in the extreme lack of high-quality labeled data. Without sufficient high-quality annotations, the usual data-driven learning-based approaches struggle with deficient training. On the other hand, directly introducing additional data with low-quality annotations may confuse the network, leading to undesirable performance degradation. To address this issue, we propose a novel mean-teacher-assisted confident learning framework to robustly exploit the noisy labeled data for the challenging hepatic vessel segmentation task. Specifically, with the adapted confident learning assisted by a third party, i.e., the weight-averaged teacher model, the noisy labels in the additional low-quality dataset can be transformed from "encumbrance" to "treasure" via progressive pixel-wise soft-correction, thus providing productive guidance. Extensive experiments using two public datasets demonstrate the superiority of the proposed framework as well as the effectiveness of each component.

연구 동기 및 목표

• CT 스캔에서 저품질(HQ) 주석이 부족한 간 혈관 데이터를 해결하기 위해, 낮은 대trast와 복잡한 형태학적 특성으로 인해 주석을 내기 어려운 문제를 해결한다.
• 학습 데이터에 저품질(LQ) 노이즈가 있는 레이블을 도입함으로써 발생하는 성능 저하 문제를 해결한다.
• 풍부한 LQ 주석 데이터를 효과적으로 활용하기 위해 노이즈가 있는 주석을 신뢰할 수 있는 학습 신호로 변환하는 방법을 개발한다.
• 제한된 HQ 데이터와 대규모 LQ 데이터를 활용하여 간 혈관 분할에 대해 강력한 준지도 학습을 가능하게 한다.

제안 방법

• 프레임워크는 평균-교사 아키텍처를 채택하여, 데이터 증강을 적용한 학생 네트워크와 지수 평균 가중치(EWA) 파rameters를 가진 교사 네트워크가 일관된 예측을 제공한다.
• Confident Learning(CL)은 분류 노이즈 과정(CNP) 가정을 통해 레이블 손상 모델링을 통해 픽셀 단위의 노이즈 탐지에 적응한다.
• 부드럽게 자기 정제 모듈(SSDM)은 교사 네트워크의 예측에서 유도된 신뢰도 점수를 사용하여 점진적으로 노이즈가 있는 레이블을 보정한다.
• 다양한 증강 조건 하에서 학생과 교사의 예측 간 일관성 손실을 사용함으로써 강건성과 특징 학습을 향상시킨다.
• 노이즈가 있는 레이블이 버려지지 않고, 신뢰도 기반으로 재가중 및 보정되어 HQ 및 LQ 데이터에서 효과적으로 학습할 수 있도록 한다.
• 교차 엔트로피 손실, 일관성 손실, 자기 정제 정규화를 조합하여 엔드 투 엔드로 프레임워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 저품질 간 혈관 데이터셋의 노이즈가 있는 레이블이 성능 저하 요인인 노이즈가 아니라, 효과적인 학습 신호로 전환될 수 있는가?
• RQ2 Confident Learning와 결합된 평균-교사 학습이 픽셀 단위의 레이블 노이즈를 다룰 때 분할 성능 향상에 어떻게 기여할 수 있는가?
• RQ3 작은 양의 고품질 데이터가 자기 정제를 통해 대규모 저품질 데이터셋의 주석 품질을 얼마나 향상시킬 수 있는가?
• RQ4 제안된 MTCL 프레임워크가 간 혈관 분할 작업에서 표준 준지도 학습 및 완전 지도 학습 베이스라인을 초월하는가?

주요 결과

• 제안된 MTCL 프레임워크는 3DIRCADb 데이터셋에서 딱각 점수 0.7245와 하우스도르프 거리(HD) 7.2111을 기록하여 모든 베이스라인을 능가한다.
• 절단 실험 결과, SSDM을 제거하면 딱각 점수가 0.0277 감소하여, 이는 레이블 정제에서 SSDM의 핵심적 역할을 확인한다.
• 정제된 LQ 레이블을 HQ 데이터와 함께 사용할 경우, 원본 LQ 레이블을 사용한 경우에 비해 딱각 점수는 7.67% 향상되고, HD는 3.91% 향상된다.
• 시각적 결과로는 거짓 양성률가 감소하고 혈관 경계 회복이 향상되어, 그림 3에서 확인할 수 있다.
• 레이블 자기 정제 과정은 MSD8 데이터셋에서 눈에 띄는 주석 오류를 성공적으로 식별하고 보정하였다. 그림 4에 시각화되어 있다.
• 프레임워크는 뛰어난 일반화 능력을 보이며, 고품질 데이터가 소량일 경우에도 성능 향상을 이룬다.