[논문 리뷰] Consistency-based Semi-supervised Active Learning: Towards Minimizing Labeling Cost

Mingfei Gao, Zizhao Zhang외 4명|arXiv (Cornell University)|2019. 10. 16.

Machine Learning and Algorithms참고 문헌 52인용 수 13

한 줄 요약

이 논문은 일관성 정규화를 통해 미분류 데이터를 활용하여 모델 훈련과 샘플 선택을 통합하는 일관성 기반 준지도 학습 활성 학습 프레임워크를 제안한다. 이로 인해 최소한의 레이블링 비용으로 최신 기술 수준의 성능을 달성한다. 이 방법은 데이터 증강에 따른 예측 일관성을 활용해 불확실하고 정보가 많은 샘플을 식별하여 레이블링 대상으로 선정하며, CIFAR-10, CIFAR-100, ImageNet에서 이전의 활성 학습과 준지도 학습의 조합보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

Active learning (AL) combines data labeling and model training to minimize the labeling cost by prioritizing the selection of high value data that can best improve model performance. In pool-based active learning, accessible unlabeled data are not used for model training in most conventional methods. Here, we propose to unify unlabeled sample selection and model training towards minimizing labeling cost, and make two contributions towards that end. First, we exploit both labeled and unlabeled data using semi-supervised learning (SSL) to distill information from unlabeled data during the training stage. Second, we propose a consistency-based sample selection metric that is coherent with the training objective such that the selected samples are effective at improving model performance. We conduct extensive experiments on image classification tasks. The experimental results on CIFAR-10, CIFAR-100 and ImageNet demonstrate the superior performance of our proposed method with limited labeled data, compared to the existing methods and the alternative AL and SSL combinations. Additionally, we study an important yet under-explored problem -- "When can we start learning-based AL selection?". We propose a measure that is empirically correlated with the AL target loss and is potentially useful for determining the proper starting point of learning-based AL methods.

연구 동기 및 목표

• 준지도 학습을 통해 훈련 과정에 미분류 데이터를 통합함으로써 활성 학습에서 레이블링 비용을 최소화한다.
• 기계 학습 기반 활성 학습의 콜드 스타트 문제를 해결하기 위해 최적의 초기 레이블링 데이터 크기를 결정하는 데이터 기반 기준을 제안한다.
• 선택 기준 지표를 준지도 학습 훈련 목표와 일치시켜 샘플 선택과 모델 훈련을 통합한다.
• 샘플 선택에서 불확실성과 다양성을 암묵적으로 균형 잡는 일관성 기반 지표를 개발한다.

제안 방법

• 레이블된 데이터와 미분류 데이터를 모두 사용하는 준지도 학습 프레임워크를 사용하며, 데이터 증강에 따른 예측 일관성을 유도하는 일관성 기반 손실을 적용한다.
• 원본 및 증강된 동일 샘플 간의 예측 불일치도를 측정하여 미분류 샘플을 평가하는 일관성 기반 선택 지표를 제안한다.
• 낮은 일관성 점수를 가진 샘플—즉, 높은 불확실성 또는 모호성을 가진 샘플—을 인간 레이블링 대상으로 선정한다. 이는 모델 성능 향상에 가장 기여할 가능성이 높기 때문이다.
• 레이블된 데이터에는 교차 엔트로피 손실을, 미분류 데이터에는 일관성 손실을 사용하며, 각 훈련 라운드에서 두 목표를 함께 최적화한다.
• 예측된 레이블 분포와 진짜 레이블 분포 간의 교차 엔트로피를 기반으로 한 새로운 측정 기준을 도입하여 활성 학습의 목표 손실을 추정하고 초기 크기 설정을 안내한다.
• 기본 준지도 학습 모델로 MixMatch를 사용하며, CIFAR-10, CIFAR-100, ImageNet을 포함한 여러 데이터셋에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 준지도 학습 훈련을 통해 미분류 데이터를 활성 학습에 통합하면, 레이블링 비용을 줄이고도 모델 성능을 향상시킬 수 있는가?
• RQ2 준지도 학습 훈련 목표와 일치시키고 효과적으로 정보가 많은 샘플을 선별할 수 있는 일관성 기반 지표는 어떻게 설계할 수 있는가?
• RQ3 학습 기반 활성 학습의 콜드 스타트 문제를 완화하기 위해, 신뢰할 수 있고 레이블 효율적인 방법으로 최적의 시작 크기를 결정할 수 있는가?
• RQ4 기본 활성 학습과 준지도 학습의 조합에 비해 제안된 방법은 성능 및 레이블링 효율성 측면에서 어떻게 비교되는가?

주요 결과

• 제안된 준지도 기반 활성 학습 방법은 기존의 활성 학습 및 준지도 학습 기준보다 훨씬 적은 레이블 샘플로 CIFAR-10, CIFAR-100, ImageNet에서 최신 기술 수준의 성능을 달성한다.
• CIFAR-10에서, 이 방법은 총 3000개의 레이블 샘플을 사용할 때 82.75%의 정확도를 기록하며, 같은 조건에서 엔트로피 기반 선택(82.67%)과 k-center 선택(81.70%)을 모두 능가한다.
• 일관성 기반 선택 지표는 정성적 및 정량적 분석을 통해 불확실성과 다양성을 암묵적으로 균형 잡는 것으로 입증되었다.
• H[p(Y), p(Ŷ)] 기반의 제안된 측정 기준은 진짜 활성 학습 목표 손실과 강한 경험적 상관관계를 보이며, 추가적인 레이블링 없이도 최적의 시작 크기를 효과적으로 추정할 수 있게 한다.
• CIFAR-10에서 초기 레이블 세트 크기가 100~150개일 때가 최적이며, 이 시점에서 H[p(Y), p(Ŷ)] 값이 안정화되어 추가 확장에 따른 수익 감소가 나타남을 확인했다.
• 이 방법은 저자료 환경에서도 강건성을 보이며, 더 이르고 더 정보 기반의 샘플 선택을 가능하게 하여 콜드 스타트 문제를 효과적으로 완화한다.