[논문 리뷰] Adaptive Early-Learning Correction for Segmentation from Noisy Annotations

Sheng Liu, Kangning Liu외 3명|arXiv (Cornell University)|2021. 10. 07.

Advanced Neural Network Applications참고 문헌 62인용 수 6

한 줄 요약

이 논문은 훈련 중에 카테고리별로 기억화 시작 시점을 감지하고 모델 예측을 사용해 레이블을 적응적으로 수정함으로써 노이즈가 있는 픽셀 수준의 애너테이션 하에서 강건한 의미 분할을 위한 ADELE를 제안한다. 초기 학습 동역학을 활용하고 다중 척도 일致성 조건을 강제하여 일반화 성능을 향상시켜, 의료 영상(SegTHOR)과 약한 지도 학습(파스칼 VOC 2012)에서 베이스라인을 능가하며 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Deep learning in the presence of noisy annotations has been studied extensively in classification, but much less in segmentation tasks. In this work, we study the learning dynamics of deep segmentation networks trained on inaccurately-annotated data. We discover a phenomenon that has been previously reported in the context of classification: the networks tend to first fit the clean pixel-level labels during an "early-learning" phase, before eventually memorizing the false annotations. However, in contrast to classification, memorization in segmentation does not arise simultaneously for all semantic categories. Inspired by these findings, we propose a new method for segmentation from noisy annotations with two key elements. First, we detect the beginning of the memorization phase separately for each category during training. This allows us to adaptively correct the noisy annotations in order to exploit early learning. Second, we incorporate a regularization term that enforces consistency across scales to boost robustness against annotation noise. Our method outperforms standard approaches on a medical-imaging segmentation task where noises are synthesized to mimic human annotation errors. It also provides robustness to realistic noisy annotations present in weakly-supervised semantic segmentation, achieving state-of-the-art results on PASCAL VOC 2012. Code is available at https://github.com/Kangningthu/ADELE

연구 동기 및 목표

• 노이즈가 있는 픽셀 수준의 애너테이션을 사용해 훈련된 딥 세그멘테이션 네트워크의 학습 동역학을 분석하는 것.
• 의료 영상 및 약한 지도 학습 환경에서 애너테이션 노이즈 문제를 해결하는 것.
• 거짓 애너테이션의 기억화가 일어나기 이전의 초기 학습 동역학을 활용하는 방법을 개발하는 것.
• 공간적으로 종속된, 클래스 불균형이 심하고 널리 퍼져 있는 애너테이션 노이즈에 대해 강건성을 향상시키는 것.
• 합성 및 실제 세계의 노이즈가 있는 세그멘테이션 벤치마크에서 최신 기술 수준의 성능를 달성하는 것.

제안 방법

• 훈련 중에 교차합집합(IoU) 곡선을 모니터링하여 각 의미 카테고리의 기억화 시작 시점을 감지한다.
• 카테고리별로 기억화가 감지되면 모델 예측을 사용해 노이즈가 있는 애너테이션을 적응적으로 수정한다.
• 애너테이션 노이즈에 대한 강건성을 향상시키기 위해 다중 척도 일치성 정규화 항을 통합한다.
• 시간적 일관성을 유지하기 위해 각 훈련 반복 단계에서 계산된 모델 출력 기반으로 레이블 보정을 수행한다.
• 레이블 보정의 시기와 민감도를 제어하기 위해 하이퍼파ram터 $ r $ 및 $ \tau $를 사용하는 임계값 기반 메커니즘을 적용한다.
• 두 단계로 구성된 WSSS 파이프라인에 적용: 먼저 CAM을 통해 허위 레이블을 생성하고, 이를 ADELE로 보정한 후 최종 세그멘테이션 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 노이즈가 있는 픽셀 수준의 애너테이션을 가진 데이터에서 세그멘테이션 네트워크는 어떻게 행동하는가?
• RQ2 분류와 마찬가지로, 의미 분할에서 모든 의미 카테고리가 동시에 거짓 애너테이션을 기억하는가?
• RQ3 기억화가 일어나기 전에 초기 학습 동역학을 활용해 노이즈가 있는 애너테이션을 보정할 수 있는가?
• RQ4 공간적으로 종속적이고 클래스 불균형이 심한 노이즈는 세그멘테이션에서 모델의 일반화에 어떤 영향을 미치는가?
• RQ5 적응적이고 카테고리별로 특화된 레이블 보정은 노이즈가 있는 세그멘테이션 벤치마크에서 강건성과 성능을 향상시킬 수 있는가?

주요 결과

• ADELE는 합성 애너테이션 노이즈가 있는 의료 영상 데이터셋인 SegTHOR에서 표준 베이스라인을 능가하며, 테스트 mIoU 71.2%를 달성한다.
• 약한 지도 학습 환경 하에서 파스칼 VOC 2012에서 ADELE는 최신 기술 수준의 성능를 달성하여 이전 방법들을 능가한다.
• 각 훈련 반복 단계에서 모델 출력 기반으로 레이블을 보정하는 방식(반복 기반)이 에포크 기반 보정보다 성능이 뛰어나며, 특히 기억화를 방지하는 데 효과적이다.
• 메서드는 하이퍼파ram터 선택에 대해 강건하다: $ r $ 및 $ \tau $의 다양한 값에서도 성능가 안정적이다.
• IoU 곡선 분석을 통해 기억화 시작 시점이 카테고리별로 다름을 확인하여, 카테고리별로 특화된 보정의 필요성을 검증한다.
• 다중 척도 일치성 정규화는 특히 노이즈가 많고 복잡한 세그멘테이션 상황에서 강건성을 크게 향상시킨다.