[논문 리뷰] Combining MixMatch and Active Learning for Better Accuracy with Fewer Labels

Shuang Song, David Berthelot외 1명|arXiv (Cornell University)|2019. 12. 02.

Machine Learning and Algorithms참고 문헌 24인용 수 18

한 줄 요약

이 논문은 최신의 준지도학습 방법인 MixMatch를 활성학습과 융합하여, 더 적은 레이블 예제로도 정확도를 크게 향상시킵니다. 모델의 신뢰도를 기반으로 예측 불확실도가 가장 높은 비라벨 데이터를 반복적으로 선택하는 불확실성 샘플링(비교2 불확실도 측정법을 사용)을 통해 제안된 MMA 프레임워크는 CIFAR-10, CIFAR-100, SVHN에서 최대 1.5%p 높은 절대 정확도를 달성하며, 레이블링 예산을 크게 줄였습니다.

ABSTRACT

We propose using active learning based techniques to further improve the state-of-the-art semi-supervised learning MixMatch algorithm. We provide a thorough empirical evaluation of several active-learning and baseline methods, which successfully demonstrate a significant improvement on the benchmark CIFAR-10, CIFAR-100, and SVHN datasets (as much as 1.5% in absolute accuracy). We also provide an empirical analysis of the cost trade-off between incrementally gathering more labeled versus unlabeled data. This analysis can be used to measure the relative value of labeled/unlabeled data at different points of the learning curve, where we find that although the incremental value of labeled data can be as much as 20x that of unlabeled, it quickly diminishes to less than 3x once more than 2,000 labeled example are observed. Code can be found at https://github.com/google-research/mma.

연구 동기 및 목표

• 활성학습 기법을 통합하여 MixMatch 준지도학습 알고리즘의 성능을 향상시키기 위해.
• 특히 불확실성 샘플링을 포함한 다양한 활성학습 전략이 MixMatch와 융합되었을 때의 효과를 평가하기 위해.
• 학습 과정에서 추가 레이블 데이터를 확보하는 것과 비라벨 데이터를 확보하는 것 사이의 비용-편익 트레이드오프를 분석하기 위해.
• 특히 레이블링 예산 제약 조건 하에서, 레이블 데이터와 비라벨 데이터의 상대적 가치를 다양한 학습 곡선 단계에서 파악하기 위해.
• 실제 레이블링 비용이 존재하는 현실 세계의 준지도학습 환경에서 최적의 데이터 확보 전략에 대한 경험적 지침을 제공하기 위해.

제안 방법

• 모델의 신뢰도를 기반으로 가장 불확실한 샘플을 반복적으로 선택하여 레이블링하는 방식으로, 강력한 준지도학습 방법인 MixMatch와 활성학습을 통합합니다.
• 비교2 불확실도 측정법을 사용하여 예측 불확실도가 가장 높은 비라벨 예제를 식별하고, 우선순위를 정하여 레이블링 대상으로 선정합니다.
• 특히 SVHN과 같이 클래스 불균형이 심한 데이터셋에서 중요한 만큼, 클래스 균형을 유지하기 위해 k-means 기반의 다양화 전략을 적용합니다.
• 초기 소량의 레이블 예제로 모델을 훈련한 후, 각 반복마다 50개의 샘플씩 레이블된 데이터셋을 점진적으로 확장하고, 매 추가 후 재학습을 수행합니다.
• 라벨된 데이터와 비라벨 데이터를 모두 활용하여 일반화 성능을 향상시키기 위해 데이터 증강과 일致성 정규화를 MixMatch에 적용합니다.
• 정확도 측정값 간 선형 보간을 수행하여, 주어진 레이블 수에 대응하는 목표 정확도에 도달하기 위해 필요한 비라벨 샘플 수를 추정하고, 비용 비율 분석을 가능하게 합니다.

실험 결과

연구 질문

• RQ1 MixMatch와 활성학습을 융합했을 때, CIFAR-10, CIFAR-100, SVHN과 같은 표준 벤치마크에서 모델 정확도에 어떤 영향을 미치는가?
• RQ2 MixMatch와 융합했을 때, 불확실성 샘플링, 질문 기반 위원회, 무작위 선택 중 어떤 활성학습 전략이 가장 높은 성능을 내는가?
• RQ3 학습 곡선의 다양한 단계에서 레이블 데이터의 증분적 가치는 비라벨 데이터의 가치와 어떻게 비교되는가?
• RQ4 SVHN과 같이 클래스 불균형이 있는 데이터셋에서, 활성학습이 MixMatch와 융합되었을 때 성능에 어떤 영향을 미치는가?
• RQ5 추가로 레이블링된 데이터의 한계 효용이 비라벨 데이터 확보에 비해 감소하기 시작하는 시점은 언제인가?

주요 결과

• 비교2 측정법을 통해 불확실성 샘플링을 적용한 MMA 프레임워크는 CIFAR-10, CIFAR-100, SVHN에서 MixMatch 단독 사용 대비 최대 1.5%p 높은 절대 정확도를 달성합니다.
• 4000개의 레이블 예산으로 SVHN을 학습한 결과, MMA는 전체 훈련 세트 정확도(97.41%)에서 0.02%p 밖에 떨어지지 않은 97.39%의 정확도를 기록했으며, 레이블 예제 수는 약 18.31배 줄였습니다.
• k-means 다양화 방법이 직접 선택보다 성능이 뛰어나, 특히 불균형한 데이터셋에서 클래스 균형 잡힌 샘플링이 성능 향상에 기여한다는 점을 시사합니다.
• 2,000개 이상의 레이블 예제를 사용한 후, 레이블링 대비 비라벨 데이터 확보 비용 비율이 최고점인 20배에서 3배 이하로 감소하여, 레이블링의 수익 감소를 보여줍니다.
• SVHN의 경우 비용 비율이 가끔 0 이하로 떨어져, 이 영역에서는 항상 비라벨 데이터가 레이블 데이터보다 더 가치가 있다는 것을 시사합니다. 이는 일반적으로 |L| ≪ |U| 가정이 위반되었기 때문일 수 있습니다.
• 분석 결과, 매우 소량의 레이블 예제에서 시작할 경우 레이블링이 가장 가치가 있으며, 2,000개를 초과하면 한계 효용이 급격히 감소한다는 점을 확인할 수 있습니다.