[논문 리뷰] Deep Active Learning for Joint Classification & Segmentation with Weak Annotator

Soufiane Belharbi, Ismail Ben Ayed외 2명|arXiv (Cornell University)|2020. 10. 10.

Machine Learning and Algorithms참고 문헌 62인용 수 9

한 줄 요약

이 논문은 이미지 수준 레이블과 저비용 오라클을 통해 픽셀 수준의 애너테이션을 수행함으로써 이미지 분류와 세분화를 동시에 수행하는 딥 액티브 러닝 프레임워크를 제안한다. 비라벨 데이터로부터 유도된 가짜 세분화를 통합하고 반복적으로 정보가 풍부한 샘플을 선택함으로써, 기존의 최첨단 약한 지도 학습 방법보다 훨씬 높은 세분화 정확도를 달성한다. CUB-200-2011 데이터셋에서 클래스당 단 한 개의 샘플만 레이블링한 후에도 75.29%의 Dice 스코어를 기록한다.

ABSTRACT

CNN visualization and interpretation methods, like class-activation maps (CAMs), are typically used to highlight the image regions linked to class predictions. These models allow to simultaneously classify images and extract class-dependent saliency maps, without the need for costly pixel-level annotations. However, they typically yield segmentations with high false-positive rates and, therefore, coarse visualisations, more so when processing challenging images, as encountered in histology. To mitigate this issue, we propose an active learning (AL) framework, which progressively integrates pixel-level annotations during training. Given training data with global image-level labels, our deep weakly-supervised learning model jointly performs supervised image-level classification and active learning for segmentation, integrating pixel annotations by an oracle. Unlike standard AL methods that focus on sample selection, we also leverage large numbers of unlabeled images via pseudo-segmentations (i.e., self-learning at the pixel level), and integrate them with the oracle-annotated samples during training. We report extensive experiments over two challenging benchmarks -- high-resolution medical images (histology GlaS data for colon cancer) and natural images (CUB-200-2011 for bird species). Our results indicate that, by simply using random sample selection, the proposed approach can significantly outperform state-of the-art CAMs and AL methods, with an identical oracle-supervision budget. Our code is publicly available.

연구 동기 및 목표

• 어려운 의료 및 자연 이미지 데이터셋에서 클래스 활성 맵(CAMs)의 높은 거짓 양성 비율과粗모양의 국소화 문제를 해결하기 위해.
• 저비용 오라클을 활용한 액티브 러닝을 통해 딥 러닝에서 픽셀 수준 애너테이션의 비용을 줄이기 위해.
• 학습 중에 비라벨 데이터로부터 유도된 가짜 세분화와 오라클가 애너테이션한 샘플을 결합하여 세분화 성능을 향상시키기 위해.
• 자기학습과 액티브 러닝을 조합했을 때, 무작위 샘플 선택이 더 복잡한 샘플 획득 전략보다도 우수한 성능을 낼 수 있음을 보여주기 위해.

제안 방법

• 프레임워크는 이미지 수준 레이블만을 사용하여 공동으로 이미지 분류와 세분화를 수행하는 약한 지도 학습 기반의 CNN을 사용한다.
• 비라벨 데이터로부터 유도된 가짜 세분화를 활용하면서도, 불확실성과 대표성을 기반으로 오라클 애너테이션을 위한 샘플을 선택하는 새로운 액티브 러닝 프rotocol를 도입한다.
• 가짜 세분화는 유사도 기반 전략을 통해 유사한 염색 패턴 또는 콘텐츠를 가진 k개의 최근접 이웃을 식별함으로써 생성된다.
• 모델의 예측을 가짜 애너테이션된 샘플에 대해 정규화하기 위해 패널티 항목(λ)을 적용하며, 일관성과 정확성 간의 균형을 맞춘다.
• 최신 모델 가중치를 사용하여 가짜 세분화를 반복적으로 개선하면서, 라벨이 부여된 데이터에서의 학습과 번갈아가며 수행된다.
• 분류를 위한 교차 엔트로피와 세분화를 위한 가중치가 부여된 Dice 손실을 포함하는 복합 손실 함수를 통해 엔드 투 엔드로 프레임워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 복잡한 샘플 획득 전략에 의존하지 않고도, 약한 지도 학습 환경에서 딥 액티브 러닝 프레임워크가 세분화 정확도를 향상시킬 수 있는가?
• RQ2 비라벨 데이터로부터 유도된 가짜 세분화를 통합할 경우, 저지시 감독 환경에서 모델 성능에 어떤 영향을 미치는가?
• RQ3 자기학습과 액티브 러닝을 조합했을 때, 무작위 샘플 선택이 불확실성 기반 선택보다 성능이 뛰어나게 되는가?
• RQ4 모델의 하이퍼파rameter λ(정규화)와 k(최근접 이웃 수)에 대해 얼마나 민감한가?
• RQ5 특히 히스토로지 및 세밀한 새 이미지와 같은 어려운 데이터셋에서, 최소한의 오라클 애너테이션으로도 높은 세분화 정확도를 달성할 수 있는가?

주요 결과

• CUB-200-2011 데이터셋에서 클래스당 단 한 개의 샘플만 레이블링한 후에도 제안된 방법은 75.29%의 Dice 스코어를 기록하며, WSL 기반 베이스라인(40.16%)과 다른 액티브 러닝 방법들보다 뚜렷이 뛰어난 성능을 보였다.
• 무작위 샘플 선택을 사용한 경우에도, 동일한 오라클 예산 조건에서 최첨단 CAM 및 액티브 러닝 기반 베이스라인보다 성능이 뛰어나며, 가짜 세분화 통합의 효과를 입증하였다.
• 하이퍼파라미터 k에 대해 매우 강건하며, 25개의 쿼리 동안 AUC의 표준편차가 단지 0.59에 불과하여 다양한 k 값에서도 안정적인 성능을 유지함을 보였다.
• 모델은 λ에 민감하며, 최적의 성능은 낮은 값에서 달성되며(예: CUB의 경우 λ = 0.001, GlaS의 경우 λ = 0.1), 높은 값은 노이즈가 많은 가짜 애너테이션에서 유도된 오류를 증폭시킨다.
• 정성적 결과에서는, 특히 히스토로지 이미지에서 CAM 기반 방법보다 더 정확하고 고해상도의 마스크를 생성하며 거짓 양성 비율을 낮추는 것으로 나타났다.
• k개의 최근접 이웃 유사도 기반 메커니즘은 히스토로지 이미지의 염색 변형과 새 이미지의 일반적인 외관을 효과적으로 포착하여 효과적인 가짜 애너테이션 전이를 가능하게 하였다.