[논문 리뷰] Semi-supervised Active Learning for Instance Segmentation via Scoring Predictions

Jun Wang, Shaoguo Wen외 6명|arXiv (Cornell University)|2020. 12. 09.

Machine Learning and Algorithms참고 문헌 33인용 수 12

한 줄 요약

이 논문은 분류, 바운딩 박스, 마스크 브랜치 전반의 불확실성을 동시에 평가하기 위해 삼중항 점수 예측(Triplet Scoring Predictions, TSP)을 사용하는 새로운 반감독형 활성 학습 프레임워크를 제안한다. TSP를 점진적 가짜 레이블링 전략과 노이즈를 줄이는 균형 손실 함수와 통합함으로써, 의료 영상 데이터셋에서 인간 레이블링 비용을 크게 줄이고도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Active learning generally involves querying the most representative samples for human labeling, which has been widely studied in many fields such as image classification and object detection. However, its potential has not been explored in the more complex instance segmentation task that usually has relatively higher annotation cost. In this paper, we propose a novel and principled semi-supervised active learning framework for instance segmentation. Specifically, we present an uncertainty sampling strategy named Triplet Scoring Predictions (TSP) to explicitly incorporate samples ranking clues from classes, bounding boxes and masks. Moreover, we devise a progressive pseudo labeling regime using the above TSP in semi-supervised manner, it can leverage both the labeled and unlabeled data to minimize labeling effort while maximize performance of instance segmentation. Results on medical images datasets demonstrate that the proposed method results in the embodiment of knowledge from available data in a meaningful way. The extensive quantitatively and qualitatively experiments show that, our method can yield the best-performing model with notable less annotation costs, compared with state-of-the-arts.

연구 동기 및 목표

• 인스턴스 세그멘테이션의 높은 레이블링 비용 문제를 해결하기 위해 인간 레이블링 데이터 의존도를 낮추기 위해.
• 분류, 바운딩 박스, 마스크 불확실성을 동시에 고려하는 원칙적인 활성 학습 전략을 개발하기 위해.
• 반감독 학습을 활성 학습과 융합하여 비라벨 데이터를 효과적으로 활용하고 가짜 레이블링에서 발생하는 노이즈를 줄이기 위해.
• 대규모 의료 영상 데이터셋에서 방법의 유효성을 검증하여 레이블 효율성과 강건성을 입증하기 위해.
• 불확실성 샘플링과 적응형 가짜 레이블링을 조합하여 인스턴스 세그멘테이션 분야의 활성 학습 기준을 새롭게 설정하기 위해.

제안 방법

• 분류, 바운딩 박스, 마스크 예측 점수를 통합한 단일 불확실성 측정 기준으로서의 새로운 불확실성 샘플링 전략인 삼중항 점수 예측(Triplet Scoring Predictions, TSP)을 제안한다.
• 모델 신뢰도에 기반해 점진적으로 업데이트되는 가짜 레이블링 제도를 설계하였으며, TSP 점수를 활용해 고품질의 비라벨 데이터를 우선순위로 지정한다.
• 감독 학습과 가짜 레이블 학습 간의 트레이드오프를 제어하기 위해 하이퍼파rameter β를 포함한 균형 손실 함수를 도입하여 저신뢰도 가짜 레이블에서 발생하는 노이즈를 최소화한다.
• 인스턴스 수준의 예측을 생성할 수 있는 Mask R-CNN 기반 아키텍처를 활용하여 선택적 샘플링을 위한 개별 인스턴스의 불확실성 점수를 제공한다.
• 반복적인 활성 학습 루프를 적용: TSP를 통해 가장 불확실한 인스턴스를 쿼리하고, 인간의 레이블을 확보한 후, 라벨된 데이터와 가짜 레이블된 데이터를 모두 활용해 재학습한다.
• 활성 학습 반복 횟수가 증가함에 따라 감소하는 동적 β 스케줄을 적용하여 시간이 지남에 따라 노이즈가 많은 가짜 레이블의 영향을 줄인다.

실험 결과

연구 질문

• RQ1 분류, 바운딩 박스, 마스크 예측을 모두 고려하는 통합 불확실성 점수 기준이 인스턴스 세그멘테이션의 활성 학습 성능을 향상시키는가?
• RQ2 활성 학습과 반감독 가짜 레이블링을 융합할 경우 인스턴스 세그멘테이션의 모델 성능과 레이블링 효율성에 어떤 영향을 미치는가?
• RQ3 삼중항 점수의 각 구성 요소(클래스, 바운딩 박스, 마스크)가 모델 성능과 불확실성 추정에 미치는 영향은 어떠한가?
• RQ4 균형 손실과 함께 점진적 가짜 레이블링 전략은 기존의 표준 가짜 레이블링 전략에 비해 노이즈를 줄이고 일반화 성능을 향상시키는가?
• RQ5 고비용의 인스턴스 세그멘테이션 작업에서, 이미지 수준의 샘플링보다 인스턴스 수준의 샘플링이 더 효과적인가?

주요 결과

• 제안된 방법은 기존의 활성 학습 방법 대비 최대 30% 적은 레이블링 데이터로도 인스턴스 세그멘테이션 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 제거 분석 결과, 삼중항 점수 구성 요소가 무작위 샘플링과 클래스 엔트로피 기반 불확실성에 비해 유의미하게 뛰어난 성능을 보이며, 세 가지 브랜치(클래스, 바운딩 박스, 마스크)를 모두 사용했을 때 가장 높은 성능를 기록한다.
• TSP에 마스크 점수 브랜치를 포함시키면 가장 뚜렷한 성능 향상이 발생하며, 이는 이어 바운딩 박스, 분류 점수의 순서로 성능 기여도가 감소한다. 이는 마스크 수준의 불확실성이 선택 기준으로서 가장 유용하다는 것을 시사한다.
• 손실 균형화를 위한 최적의 β 값은 0.01이며, 이는 높은 값들(0.05, 0.09)보다도 노이즈를 줄이고 일반화 성능을 향상시킨다.
• 활성 학습과 반감독 학습을 융합함으로써 뛰어난 강건성과 재현 가능성을 확보하였으며, 다양한 의료 영상 데이터셋에서 일관된 성능 향상을 보였다.
• 시각화 결과, 방법이 낮은 점수의 예측(어려운 예제)과 높은 점수의 예측(정확도가 높은 쉬운 예제)을 효과적으로 식별하여 의미 있는 샘플링과 신뢰할 수 있는 가짜 레이블링을 가능하게 한다.