[논문 리뷰] A Bayesian Data Augmentation Approach for Learning Deep Models

Toan Tran, Trung Pham외 3명|arXiv (Cornell University)|2017. 10. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 25인용 수 117

한 줄 요약

이 논문은 딥 모델용 데이터 생성기와 분류기를 함께 학습하는 베이지안 데이터 증강 프레임워크(GMCEM)를 제시하여 MNIST, CIFAR-10, CIFAR-100에서 표준 PMDA 및 AC-GAN baselines보다 정확도를 향상시킨다.

ABSTRACT

Data augmentation is an essential part of the training process applied to deep learning models. The motivation is that a robust training process for deep learning models depends on large annotated datasets, which are expensive to be acquired, stored and processed. Therefore a reasonable alternative is to be able to automatically generate new annotated training samples using a process known as data augmentation. The dominant data augmentation approach in the field assumes that new training samples can be obtained via random geometric or appearance transformations applied to annotated training samples, but this is a strong assumption because it is unclear if this is a reliable generative model for producing new training samples. In this paper, we provide a novel Bayesian formulation to data augmentation, where new annotated training points are treated as missing variables and generated based on the distribution learned from the training set. For learning, we introduce a theoretically sound algorithm --- generalised Monte Carlo expectation maximisation, and demonstrate one possible implementation via an extension of the Generative Adversarial Network (GAN). Classification results on MNIST, CIFAR-10 and CIFAR-100 show the better performance of our proposed method compared to the current dominant data augmentation approach mentioned above --- the results also show that our approach produces better classification results than similar GAN models.

연구 동기 및 목표

• annotated 데이터가 제한적이고 비용이 많이 들 때 로버스트한 딥 모델 학습을 동기화한다.
• synthetic 샘플을 학습된 분포에서 샘플링된 잠재 변수로 취급하는 베이지안 데이터 증강 프레임워크를 제안한다.
• GMCEM 최적화 내에서 생성기와 분류기를 함께 학습하여 학습 중에 데이터를 증강한다.
• MNIST, CIFAR-10, CIFAR-100에서 표준 데이터 증강 및 AC-GAN baselines보다 분류 성능이 향상됨을 보여준다.

제안 방법

• 합성 샘플 z = (ta, xa)이 학습 데이터로부터 학습된 분포에서 샘플링되는 잠재변수 데이터 증강을 도입한다.
• 데이터를 점진적으로 증강하고 딥 모델 매개변수를 업데이트하기 위해 Generalized Monte Carlo EM (GMCEM)을 개발한다.
• C, A, G로 구성된 모듈식 아키텍처를 가진 GAN 기반 생성 확장을 개발하여 다양한 판별 및 생성 모델과의 융합을 가능하게 한다.
• GMCEM 프레임워크 내에서 practical convergence를 보장하기 위한 SGD 기반 최적화를 제공한다.
• lC 및 lA를 통해 training losses를 GMCEM 목적함수와 연관시키고 확률적 형식(방정식 12–19)으로 연결한다.
• ResNet 변종을 사용하여 MNIST, CIFAR-10, CIFAR-100에서 PMDA 및 AC-GAN baselines과 비교 평가한다.

실험 결과

연구 질문

• RQ1 제안된 GMCEM 기반 베이지안 데이터 증강이 표준 벤치마크에서 전통적 PMDA보다 분류 정확도를 향상시키는가?
• RQ2 베이지안 데이터 증강 프레임워크가 AC-GAN 및 다른 GAN 변형과 비교하여 딥 분류기에 유용한 증강을 생성하는 정도는 어떤가?
• RQ3 학습 도중 증강을 적응시키기 위해 생성기/분류기 쌍을 GMCEM 형태로 효과적으로 공동 학습할 수 있는가?
• RQ4 증강 데이터의 양(M)을 달리했을 때 다양한 데이터셋에서 성능에 미치는 영향은 무엇인가?

주요 결과

• 베이지안 DA 방법은 MNIST, CIFAR-10, CIFAR-100에서 PMDA보다 분류 정확도를 향상시킨다.
• ResNet 기반 분류기를 사용할 때 벤치마크 데이터셋에서 AC-GAN보다 우수한 성능을 보인다.
• 합성 데이터의 양을 증가시키면 일반적으로 정확도가 높아진다.
• 실용적인 데이터 증강 품질을 보여주는 비교적 현실적인 합성 숫자와 객체를 생성한다.
• 적절한 아키텍처를 갖춘 CIFAR-100 및 MNIST에서 수 시간의 학습 이후 PMDA를 능가하는 베이지안 접근법의 학습 시간 분석 결과를 제시한다.