[논문 리뷰] Pick-and-Learn: Automatic Quality Evaluation for Noisy-Labeled Image Segmentation

Haidong Zhu, Jialin Shi외 1명|arXiv (Cornell University)|2019. 07. 27.

Machine Learning and Data Classification참고 문헌 13인용 수 6

한 줄 요약

이 논문은 노이즈가 많은 레이블이 포함된 데이터셋에서 자동으로 고품질 레이블을 식별하고 재가중하는 자기지도 학습 레이블 품질 평가 프레임워크를 제안한다. 상대적 레이블 신뢰도를 평가하기 위한 품질 인식 모듈과 일반화를 유지하기 위한 오버피팅 제어 모듈을 도입함으로써, 높은 노이즈 수준에서도 생물의학 영상 분할 벤치마크에서 최신 기술 수준의 성능을 달성하며, 일부 경우에서는 청소된 데이터로 훈련된 베이스라인 모델을 초월한다.

ABSTRACT

Deep learning methods have achieved promising performance in many areas, but they are still struggling with noisy-labeled images during the training process. Considering that the annotation quality indispensably relies on great expertise, the problem is even more crucial in the medical image domain. How to eliminate the disturbance from noisy labels for segmentation tasks without further annotations is still a significant challenge. In this paper, we introduce our label quality evaluation strategy for deep neural networks automatically assessing the quality of each label, which is not explicitly provided, and training on clean-annotated ones. We propose a solution for network automatically evaluating the relative quality of the labels in the training set and using good ones to tune the network parameters. We also design an overfitting control module to let the network maximally learn from the precise annotations during the training process. Experiments on the public biomedical image segmentation dataset have proved the method outperforms baseline methods and retains both high accuracy and good generalization at different noise levels.

연구 동기 및 목표

• 의료 영상에서 전문가 애너테이션이 비용이 많이 들기 때문에, 노이즈가 많고 품질이 낮은 애너테이션이 포함된 영상 분할 데이터셋에서 딥 네트워크를 훈련시키는 과제를 해결하기 위해.
• 명시적인 품질 애너테이션을 요구하지 않고도 상대적 레이블 품질을 평가할 수 있는 자동화된 종단 간(end-to-end) 방법을 개발하기 위해.
• 다양한 수준의 레이블 노이즈 하에서 분할 작업에서 모델의 일반화 능력을 향상시키고 높은 정확도를 유지하기 위해.
• 높은 품질의 레이블에 집중하면서 노이즈가 많은 레이블에 과도하게 피팅되지 않도록 하는 메커니즘을 설계하기 위해.

제안 방법

• 이 방법은 분할 모듈과 병렬로 작동하는 품질 인식 모듈(QAM)을 갖춘 이중 브랜치 네트워크 아키텍처를 사용하며, 입력 이미지와 해당 레이블을 연결하여 처리한다.
• QAM은 미니배치 내 각 샘플의 상대적 품질 점수를 계산하기 위해 예측된 분할 결과와 레이블 일관성 간의 갈등을 분석하고, 손실 동역학을 레이블 신뢰도의 대체 지표로 사용한다.
• QAM의 출력을 바탕으로 손실 값에 가중치를 적용하며, 소프트맥스 정규화된 점수를 사용하여 백프로파게이션 동안 높은 품질의 레이블에서 더 많은 학습을 유도한다.
• 노이즈가 많은 레이블에 과도하게 피팅되지 않도록 동적으로 학습 가능한 샘플 수를 조절하고 학습 과정을 안정화시키기 위해 오버피팅 제어 모듈(OCM)을 도입한다.
• 전체 네트워크는 종단 간으로 훈련되며, 분할 모듈과 품질 인식 모듈을 동시에 백프로파게이션하여 분할 성능과 레이블 품질 추정을 공동 최적화한다.
• 이 방법은 미니배치 내 샘플 간 손실 감소 속도의 상대적 차이를 활용하여 레이블 품질을 추론하며, 외부 지도나 레이블 정확성에 대한 사전 지식이 필요하지 않다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델은 명시적인 품질 애너테이션 없이도 영상 분할에서 노이즈가 많은 레이블의 상대적 품질을 자동으로 평가할 수 있는가?
• RQ2 학습 중에 높은 품질의 레이블에서 학습을 우선시하면서 노이즈가 많은 레이블의 간섭을 최소화할 수 있는 네트워크 설계는 어떻게 해야 하는가?
• RQ3 오버피팅 제어 메커니즘이 높은 레이블 노이즈 수준에서 모델의 일반화 능력에 어떤 영향을 미치는가?
• RQ4 자기지도 학습 기반의 품질 평가 전략은 다양한 노이즈 수준에서 기준 모델 대비 얼마나 높은 분할 정확도를 유지할 수 있는가?

주요 결과

• 제안된 방법은 최대 13픽셀의 침식 또는 확장이 발생하는 50%의 노이즈 레이블이 존재하는 상황에서도 청소된 데이터로 훈련된 모델과 비교해 유사한 분할 정확도를 달성한다.
• JSRT 데이터셋에서 오버피팅 제어 모듈을 사용했을 경우, 75%의 노이즈 수준에서도 경추의 정확도가 0.801을 유지하며, 베이스라인(0.366)을 크게 능가했다.
• 품질 인식 모듈은 훈련 과정 동안 청소된 레이블 샘플의 상대적 가중치를 성공적으로 증가시켰으며, 가중치 분산이 시간이 지남에 따라 감소함으로써 안정적이고 일관된 품질 추정이 이루어졌음을 나타낸다.
• QAM과 OCM 모듈을 모두 갖춘 네트워크는 특히 노이즈에 가장 취약한 작은 해부학적 구조물(예: 경추)에서 기준 모델보다 낮은 훈련 손실과 높은 테스트 정확도를 보였다.
• 오버피팅 제어 모듈은 필수적이었다: 이 모듈이 없을 경우 모델은 심각한 오버피팅을 겪었으며, 특히 높은 노이즈 수준에서 일반화 능력이 떨어지고 성능이 불안정해졌다.