[논문 리뷰] Bayesian Generative Active Deep Learning

Toan Tran, Thanh-Toan Do외 2명|arXiv (Cornell University)|2019. 04. 26.

Machine Learning and Algorithms인용 수 22

한 줄 요약

이 논문은 활성 학습과 변분 자동인코더-조건부 GAN(VAE-ACGAN) 생성을 결합한 베이지안 생성형 활성 딥러닝 프레임워크를 제안한다. 이는 정보가 풍부한 합성 훈련 샘플을 생성한다. BALD 불확실성 할당을 통해 정보가 많은 미라벨링 데이터를 선택하고, 이를 조건으로 다양하고 고품질의 샘플을 생성함으로써, 표준 활성 학습이나 데이터 증강에 비해 라벨링 및 계산 비용을 크게 줄이고도 분류 정확도를 뛰어나게 했다.

ABSTRACT

Deep learning models have demonstrated outstanding performance in several problems, but their training process tends to require immense amounts of computational and human resources for training and labeling, constraining the types of problems that can be tackled. Therefore, the design of effective training methods that require small labeled training sets is an important research direction that will allow a more effective use of resources.Among current approaches designed to address this issue, two are particularly interesting: data augmentation and active learning. Data augmentation achieves this goal by artificially generating new training points, while active learning relies on the selection of the "most informative" subset of unlabeled training samples to be labelled by an oracle. Although successful in practice, data augmentation can waste computational resources because it indiscriminately generates samples that are not guaranteed to be informative, and active learning selects a small subset of informative samples (from a large un-annotated set) that may be insufficient for the training process. In this paper, we propose a Bayesian generative active deep learning approach that combines active learning with data augmentation -- we provide theoretical and empirical evidence (MNIST, CIFAR-$\{10,100\}$, and SVHN) that our approach has more efficient training and better classification results than data augmentation and active learning.

연구 동기 및 목표

• 대규모 라벨링된 데이터셋에 의존하는 것을 줄임으로써 딥러닝의 높은 계산 비용과 라벨링 비용을 해결하고자 한다.
• 무분별한 데이터 증강 방식이 정보가 없는 샘플을 생성하는 비효율성을 해결하고자 한다.
• 작은 정보가 풍부한 데이터셋에 과적합되는 것을 막기 위해 고품질의 합성 데이터로 보완하고자 한다.
• 불확실성 기반 샘플 선택과 생성 모델링을 통합한 공동 훈련 프레임워크를 개발하여 모델의 일반화 능력을 향상시키고자 한다.
• 정보가 풍부한 합성 데이터를 생성하는 것이 표준 데이터 증강이나 활성 학습만으로는 달성할 수 없는 성능 향상에 기여함을 입증하고자 한다.

제안 방법

• 대규모 풀에서 가장 불확실하고 정보가 풍부한 미라벨링 샘플을 선택하기 위해 불확실성 기반 활성 학습(BALD)을 사용한다.
• 선택된 정보가 풍부한 샘플을 조건으로 하여 VAE-ACGAN 모델을 훈련시어 새로운 합성 훈련 데이터를 생성한다.
• 재학습을 위해 생성된 샘플을 라벨링된 데이터셋에 통합함으로써 반복적인 개선을 가능하게 한다.
• 생성 모델과 분류기가 함께 훈련되는 공동 훈련 전략을 적용하여 샘플의 관련성을 향상시킨다.
• 모델의 불확실성 감소를 최대화하는 데 중점을 두어 상호정보 기반 할당 함수를 사용한다.
• ResNet 아키텍처를 사용하여 MNIST, CIFAR-10/100, SVHN 등 다양한 벤치마크에서 메서드의 강건성을 검증한다.

실험 결과

연구 질문

• RQ1 활성 학습과 생성 모델링을 조합하면 표준 데이터 증강보다 더 정보가 풍부한 합성 데이터를 생성할 수 있는가?
• RQ2 높은 불확실성과 활성적으로 선택된 데이터를 조건으로 샘플을 생성하면 수렴 속도가 빨라지고 성능이 향상되는가?
• RQ3 성능 및 샘플 효율성 측면에서 표준 데이터 증강을 사용한 활성 학습과 비교해 본다면, 제안된 방법은 어떻게 다른가?
• RQ4 제안된 방법은 전체 데이터 훈련 성능과 유사한 성능을 달성하면서도 라벨링 데이터의 일부분만을 사용할 수 있는가?
• RQ5 VAE-ACGAN 생성기는 고품질의 정보가 풍부한 샘플을 얼마나 효과적으로 생성하여 후속 분류 성능을 향상시키는가?

주요 결과

• 제안된 AL w. VAEACGAN 방법은 MNIST, CIFAR-10, CIFAR-100, SVHN 등 다양한 모델에서 표준 활성 학습 및 데이터 증강보다 뛰어난 성능을 보였다.
• ResNet18를 사용한 CIFAR-100에서 AL w. VAEACGAN는 AL w. ACGAN(p ≤ 0.05) 및 부분적 훈련을 한 BDA에 비해 통계적으로 유의미한 향상을 보였다.
• 전체 데이터 BDA 성능에 도달하는 데 필요한 훈련 데이터의 1/10만으로도 경쟁 가능한 정확도를 달성하여 높은 샘플 효율성을 입증했다.
• AL w. VAEACGAN가 생성한 샘플은 특히 후기 훈련 단계에서 AL w. ACGAN보다 평균 정보 가치(할당 함수로 측정)가 높았다.
• AL w. VAEACGAN는 AL w. ACGGAN보다 BDA 성능에 더 빨리 수렴했으며, 이는 더 효과적인 샘플 생성을 의미한다.
• BALD나 BDA보다 계산 비용이 높지만, 더 적은 라벨링 샘플로 더 뛰어난 성능을 달성함으로써 이 비용의 투자에 대한 타당성을 입증했다.