[논문 리뷰] Deep Active Learning with Augmentation-based Consistency Estimation

SeulGi Hong, Heonjin Ha외 2명|arXiv (Cornell University)|2020. 11. 05.

Machine Learning and Algorithms참고 문헌 22인용 수 4

한 줄 요약

이 논문은 일반화 성능을 향상시키기 위해 데이터 증강 기반의 일致성 추정을 통합한 딥 액티브 러닝 프레임워크를 제안한다. Cutout과 CutMix를 정량적 정규화 손실과 불확실성 지표로 재정의함으로써, 다양한 데이터셋과 레이블링 예산에서 성능을 향상시키며, 기존의 불확실성 샘플링 전략과 조합할 경우 일관된 성능 향상을 달성한다.

ABSTRACT

In active learning, the focus is mainly on the selection strategy of unlabeled data for enhancing the generalization capability of the next learning cycle. For this, various uncertainty measurement methods have been proposed. On the other hand, with the advent of data augmentation metrics as the regularizer on general deep learning, we notice that there can be a mutual influence between the method of unlabeled data selection and the data augmentation-based regularization techniques in active learning scenarios. Through various experiments, we confirmed that consistency-based regularization from analytical learning theory could affect the generalization capability of the classifier in combination with the existing uncertainty measurement method. By this fact, we propose a methodology to improve generalization ability, by applying data augmentation-based techniques to an active learning scenario. For the data augmentation-based regularization loss, we redefined cutout (co) and cutmix (cm) strategies as quantitative metrics and applied at both model training and unlabeled data selection steps. We have shown that the augmentation-based regularizer can lead to improved performance on the training step of active learning, while that same approach can be effectively combined with the uncertainty measurement metrics proposed so far. We used datasets such as FashionMNIST, CIFAR10, CIFAR100, and STL10 to verify the performance of the proposed active learning technique for multiple image classification tasks. Our experiments show consistent performance gains for each dataset and budget scenario.

연구 동기 및 목표

• 다양한 데이터셋과 레이블링 예산에서 액티브 러닝 방법의 일반화 능력이 제한되어 있는 문제를 해결하기 위해.
• 특히 Cutout과 CutMix와 같은 데이터 증강 기반 정규화 기법을 액티브 러닝에 통합하여 모델의 강건성을 향상시키기 위해.
• 분석적 학습 이론을 활용해 일관성 기반 정규화와 불확실성 추정을 재정의하여 딥 액티브 러닝에서의 성능을 향상시키기 위해.
• 데이터 증강 기반 정규화가 기존의 불확실성 샘플링 방법과 상호보완적으로 작용하여 일관된 성능 향상을 이끌어내는지 확인하기 위해.
• 다양한 예산 제약 조건 하에서 여러 이미지 분류 벤치마크(FashionMNIST, CIFAR10, CIFAR100, STL10)에서 방법의 타당성을 검증하기 위해.

제안 방법

• 딥 액티브 러닝 중 모델 훈련 시 사용 가능한 가중치 기반의 가역적 정량적 일관성 기반 정규화 손실로 Cutout과 CutMix를 재정의한다.
• 미레이블된 데이터의 다양한 증강된 시각에서 예측의 분산을 측정하여 데이터 증강 기반의 불확실성 추정을 도입하고, 이를 선택 지침으로 활용한다.
• 모델 훈련과 미레이블된 데이터 선택 과정에서 매 액티브 러닝 라운드마다 정규화와 불확실성 추정을 동시에 적용한다.
• 분석적 학습 이론을 활용해 데이터 증강 하에서 함수의 변동성이 일반화 오차와 관련이 있음을 정당화함으로써 일관성 추정을 가능하게 한다.
• 기본적인 불확실성 샘플링 방법(예: 엔트로피, 마진)과 제안된 정규화 손실을 조합하여 성능을 향상시킨다.
• 증강된 데이터를 사용한 미니배치로 모델을 훈련하고, 일관성(정규화를 통해)과 불확실성 기반 선택을 동시에 최적화한다.

실험 결과

연구 질문

• RQ1 데이터 증강 기반의 일관성 추정은 딥 액티브 러닝에서 일반화 성능 향상에 기여하는가?
• RQ2 데이터 증강 기반 정규화와 불확실성 샘플링을 조합할 경우 다양한 데이터셋에서 성능에 어떤 영향을 미치는가?
• RQ3 다양한 레이블링 예산 제약 조건 하에서도 제안된 방법이 성능 향상을 유지하는가?
• RQ4 제안된 일관성 기반 정규화는 기존의 불확실성 측정 기법과 효과적으로 조합될 수 있는가?
• RQ5 클래스 불균형과 데이터 부족이 다양한 이미지 분류 데이터셋에서 발생할 경우 성능 향상이 얼마나 견고한가?

주요 결과

• 제안된 방법은 다양한 레이블링 예산 하에서 평가된 모든 데이터셋(FashionMNIST, CIFAR10, CIFAR100, STL10)에서 일관된 성능 향상을 달성한다.
• 데이터 증강 기반 정규화와 불확실성 샘플링(예: 엔트로피, 마진)을 조합할 경우 기준 방법보다 뚜렷하고 안정적인 성능 향상이 이루어진다.
• 클래스당 이미지 수가 적은 CIFAR100과 STL10에서는 불확실성과 정규화의 조합이 각각의 성능을 초월하여 높은 성능을 기록한다.
• 예산 변화에 대해 강건성을 보이며, 더 많은 레이블 데이터를 확보할수록 성능이 점진적으로 향상되는데, 특히 제안된 정규화를 사용할 경우 더욱 두드러진다.
• Cutout과 CutMix를 일관성 기반 정규화자로 통합함으로써 랜덤 샘플링이나 각각의 단독 사용보다 더 나은 일반화 성능을 달성한다.
• 실험 결과, 불확실성 추정과 정규화 간의 상호보완적 상호작용이 필수적임을 확인하였으며, 단독으로 사용할 경우 성능 향상이 제한적임을 입증한다.