[논문 리뷰] Implicit Semantic Data Augmentation for Deep Networks

Yulin Wang, Xuran Pan외 4명|arXiv (Cornell University)|2019. 09. 26.

Multimodal Machine Learning Applications인용 수 60

한 줄 요약

ISDA는 클래스 조건부 의미 방향으로 딥 피처를 섭동하며, 온라인 공분산 추정치를 사용해 추가 데이터 생성 없이 일반화를 향상시키는 강건한 교차 엔트로피 손실을 도출한다.

ABSTRACT

In this paper, we propose a novel implicit semantic data augmentation (ISDA) approach to complement traditional augmentation techniques like flipping, translation or rotation. Our work is motivated by the intriguing property that deep networks are surprisingly good at linearizing features, such that certain directions in the deep feature space correspond to meaningful semantic transformations, e.g., adding sunglasses or changing backgrounds. As a consequence, translating training samples along many semantic directions in the feature space can effectively augment the dataset to improve generalization. To implement this idea effectively and efficiently, we first perform an online estimate of the covariance matrix of deep features for each class, which captures the intra-class semantic variations. Then random vectors are drawn from a zero-mean normal distribution with the estimated covariance to augment the training data in that class. Importantly, instead of augmenting the samples explicitly, we can directly minimize an upper bound of the expected cross-entropy (CE) loss on the augmented training set, leading to a highly efficient algorithm. In fact, we show that the proposed ISDA amounts to minimizing a novel robust CE loss, which adds negligible extra computational cost to a normal training procedure. Although being simple, ISDA consistently improves the generalization performance of popular deep models (ResNets and DenseNets) on a variety of datasets, e.g., CIFAR-10, CIFAR-100 and ImageNet. Code for reproducing our results is available at https://github.com/blackfeather-wang/ISDA-for-Deep-Networks.

연구 동기 및 목표

• 이미지 분류에서 일반화를 개선하기 위해 표준 증강을 넘어서는 의미적 변환의 동기를 제시합니다.
• 명시적 증강 샘플을 생성하는 대신 특징 공간에서 작동하는 효율적인 암묵적(implicit) 증강 메커니즘을 제안합니다.
• 기존 아키텍처에서 확장 가능한 최적화를 가능하게 하는 닫힌 형식의 상한 손실을 개발합니다.
• ISDA가 여러 아키텍처에서 CIFAR-10/100 및 ImageNet에서 일관되게 성능을 개선함을 보여줍니다.

제안 방법

• 훈련 중 온라인으로 클래스 조건부 특징 공분산을 추정합니다.
• 특징 공간에서 N(0, lambda * Sigma_y)로부터 임의 방향을 샘플링하고 이러한 방향으로 특징을 개념적으로 변환합니다.
• 증강 하에서 기대 교차 엔트로피 손실의 닫힌 형식의 상한을 도출하여 강건한 손실 ar{L}_infty을 생성합니다.
• 명시적으로 증강 샘플을 생성하지 않고 SGD로 강건 손실을 최적화합니다.
• Algorithm 1에서 ISDA 단계 상세와 보조 자료의 공분산 추정 개요를 제공합니다.

실험 결과

연구 질문

• RQ1 명시적 샘플 생성을 수반하지 않고도 심층 특징 공간의 의미적 방향을 활용해 학습 데이터를 의미 있게 증강할 수 있을까?
• RQ2 클래스-조건부 공분산이 데이터세트와 아키텍처 전반에서 일반화를 향상시키는 클래스 내 의미 변이를 포착하는가?
• RQ3 Cutout 또는 AutoAugment와 같은 비의미적 증강과 ISDA의 상호작용은 어떠한가?
• RQ4 대규모 데이터셋에서 ISDA 손실이 실용적으로 구현 가능하며 계산 오버헤드가 거의 없나요?

주요 결과

• ISDA는 CIFAR-10, CIFAR-100 및 ImageNet에서 ResNet, DenseNet 및 관련 아키텍처 전반에 걸쳐 일관된 일반화 이득을 제공합니다.
• ISDA는 Cutout 및 AutoAugment와 같은 비의미적 증강과 결합될 때 눈에 띄는 개선을 제공합니다.
• 이 방법은 강건한 손실 함수로 구현 가능하며 추가 계산이 거의 필요하지 않고, 람다(lambda)가 0에 가까워지면 표준 교차 엔트로피로 축소됩니다.
• 보고된 실험에서 ISDA가 최첨단 강건 손실 및 GAN 기반 의미적 증강 방법을 종종 능가합니다.
• 전체 클래스-조건부 공분산을 사용하는 것이 효과를 내는 데 중요하다는 애블레이션 연구 결과가 나왔습니다。