[논문 리뷰] Improving Deep Learning using Generic Data Augmentation

Luke Taylor, Geoff Nitschke|arXiv (Cornell University)|2017. 08. 20.

Machine Learning and Data Classification인용 수 159

한 줄 요약

이 논문은 Caltech101에서 간단한 CNN을 사용하여 7가지 일반적인 데이터 증강 방법(기하 및 광학)을 벤치마크하고, 자르기(기하적)가 가장 큰 Top-1 이득을 가져오며, 광학적 방법은 더 작은 개선을 제공한다.

ABSTRACT

Deep artificial neural networks require a large corpus of training data in order to effectively learn, where collection of such training data is often expensive and laborious. Data augmentation overcomes this issue by artificially inflating the training set with label preserving transformations. Recently there has been extensive use of generic data augmentation to improve Convolutional Neural Network (CNN) task performance. This study benchmarks various popular data augmentation schemes to allow researchers to make informed decisions as to which training methods are most appropriate for their data sets. Various geometric and photometric schemes are evaluated on a coarse-grained data set using a relatively simple CNN. Experimental results, run using 4-fold cross-validation and reported in terms of Top-1 and Top-5 accuracy, indicate that cropping in geometric augmentation significantly increases CNN task performance.

연구 동기 및 목표

• 일반적인 데이터 증강 방법이 coarse-grained 데이터셋에서 CNN 성능에 어떤 영향을 미치는지 평가한다.
• 어떤 증강 스킴(기하 대 광학)이 가장 신뢰할 수 있는 개선을 제공하는지 식별한다.
• 작고 중간 규모 데이터셋에서 과적합을 줄이기 위한 증강 기법 선택에 대한 경험적 지침을 제공한다.

제안 방법

• 일곱 가지 데이터 증강 방법 평가(비증강, 뒤집기, 회전, 자르기, 색상 변동, 에지 강화, Fancy PCA).
• ReLU, Xavier 초기화, SGD with Nesterov, L2 정규화 등 특정 하이퍼파라미터를 갖춘 5개의 학습 가능한 층으로 구성된 CNN 아키텍처를 사용.
• Caltech101에서 4-fold 교차 검증으로 학습하고 Top-1 및 Top-5 정확도와 표준 편차를 보고한다.
• 데이터를 256x256으로 다운샘플링하고 중앙 패딩을 적용한 후 증강 전에 픽셀을 [0,1]로 정규화한다.
• 어떤 범주가 성능 향상을 더 크게 내는지 기하적 증강대 광학적 증강을 비교한다.

실험 결과

연구 질문

• RQ1 Caltech101과 같은 거친/granular 데이터셋에서 어떤 일반 데이터 증강 방법이 CNN 성능을 가장 크게 향상시키는가?
• RQ2 이 맥락에서 기하적 변환이 광학적 변환보다 우수한가?
• RQ3 어떤 단일 증강이 가장 큰 Top-1 및 Top-5 이득을 제공하는가?
• RQ4 증강이 작은에서 중간 규모 데이터에서 모델의 일반화 및 과적합에 어떤 영향을 주는가?

주요 결과

방법	Top-1	Top-5
Baseline	48.13 ± 0.42%	64.50 ± 0.65%
Flipping	49.73 ± 1.13%	67.36 ± 1.38%
Rotating	50.80 ± 0.63%	69.41 ± 0.48%
Cropping	61.95 ± 1.01%	79.10 ± 0.80%
Color Jittering	49.57 ± 0.53%	67.18 ± 0.42%
Edge Enhancement	49.29 ± 1.16%	66.49 ± 0.84%
Fancy PCA	49.41 ± 0.84%	67.54 ± 1.01%

• 자르기는 가장 큰 Top-1 개선을 가져온다(61.95% vs 기준 48.13%).
• 기하적 증강은 일반적으로 Caltech101에서 Top-1 및 Top-5에서 광학적 증강보다 우수하다.
• 회전과 뒤집기는 베이스라인 대비 주목할 만한 이득을 제공하지만, 자르기가 여전히 가장 강력하다.
• 광학적 방법은 소폭의 개선을 보이며, 색상 변동 및 Fancy PCA는 자르기에 비해 작은 Top-1/Top-5 이득을 제공한다.
• 모든 증강 방법이 비증강보다 개선되며, 표준편차가 교차검증 결과의 안정성을 나타낸다.