[논문 리뷰] A Close Look at Deep Learning with Small Data

Lorenzo Brigato, Luca Iocchi|arXiv (Cornell University)|2020. 03. 28.

Advanced Neural Network Applications참고 문헌 30인용 수 12

한 줄 요약

이 논문은 CIFAR-10, Fashion-MNIST, 그리고 SVHN의 부분 샘플링된 버전을 사용하여 소규모 데이터셋에서의 딥러닝 성능을 조사한다. 낮은 복잡도의 CNN 모델이 훈련 데이터가 부족한 상황에서 더 큰 아키텍처보다 종종 성능을 뛰어넘으며, 표준 데이터 증강 기법이 정확도를 상당히 향상시켜 최대 20%까지 향상시킬 수 있음을 입증한다. 또한 드롭아웃은 극도로 소규모 데이터 환경에서도 효과적인 정규화 기법으로 남아 있다.

ABSTRACT

In this work, we perform a wide variety of experiments with different deep learning architectures on datasets of limited size. According to our study, we show that model complexity is a critical factor when only a few samples per class are available. Differently from the literature, we show that in some configurations, the state of the art can be improved using low complexity models. For instance, in problems with scarce training samples and without data augmentation, low-complexity convolutional neural networks perform comparably well or better than state-of-the-art architectures. Moreover, we show that even standard data augmentation can boost recognition performance by large margins. This result suggests the development of more complex data generation/augmentation pipelines for cases when data is limited. Finally, we show that dropout, a widely used regularization technique, maintains its role as a good regularizer even when data is scarce. Our findings are empirically validated on the sub-sampled versions of popular CIFAR-10, Fashion-MNIST and, SVHN benchmarks.

연구 동기 및 목표

• 훈련 데이터가 제한된 상황에서 모델 복잡도가 딥러닝 성능에 미치는 영향을 조사하기 위해.
• 다양한 벤치마크에서 소규모 데이터 환경에서의 데이터 증강과 드롭아웃의 효과를 평가하기 위해.
• 소규모 데이터 환경에서 더 큰 모델이 항상 우월하다는 가정을 도전하기 위해.
• 데이터가 부족한 상황에서 더 단순한 모델이 최신 기술 모델보다 뛰어난 성능을 낼 수 있음을 경험적으로 입증하기 위해.
• 새로운 모델을 최신 기술 모델 뿐 아니라 소규모 데이터 시나리오에서의 단순하고 낮은 복잡도의 기준 모델과도 비교 평가할 것을 주장하기 위해.

제안 방법

• CIFAR-10, Fashion-MNIST, 그리고 SVHN에서 1~128개의 샘플씩 클래스당 부분 샘플링된 훈련 세트를 생성하여 소규모 데이터 환경을 시뮬레이션하였다.
• 낮은 복잡도(CNN-lc), 중간 복잡도(CNN-mc), 높은 복잡도(CNN-hc)의 세 가지 CNN 변종과 비교를 위해 ResNet-20도 훈련하였다.
• 표준 증강 정책(예: 무작위 자르기 및 수평 뒤집기)을 사용하여 데이터 증강 여부에 따라 모델을 평가하였다.
• 드롭아웃을 정규화 기법으로 적용하고, 다양한 훈련 세트 크기에서의 성능을 비교하였다.
• 손실 함수의 영향을 분석하기 위해 교차 엔트로피 손실과 코스인 손실 함수를 사용하였다.
• 통계적 안정성을 확보하기 위해 10번의 랜덤 실행 평균 정확도로 결과를 보고하였다.

실험 결과

연구 질문

• RQ1 소규모 데이터 이미지 분류 작업에서 모델 복잡도가 성능에 상당한 영향을 미치는가?
• RQ2 훈련 데이터가 극도로 제한된 상황에서 낮은 복잡도의 CNN 모델이 최신 기술 아키텍처를 초월할 수 있는가?
• RQ3 소규모 훈련 샘플에서 표준 데이터 증강 기법이 인식 정확도 향상에 얼마나 효과적인가?
• RQ4 오버피팅 위험이 큰 소규모 데이터 환경에서 드롭아웃은 여전히 효과적인 정규화 기법인가?
• RQ5 작은 데이터 환경에서 코스인 손실이 교차 엔트로피 손실보다 우월한 조건은 무엇인가?

주요 결과

• 데이터 증강을 사용하지 않은 상황에서 낮은 복잡도의 CNN 모델(CNN-lc)은 ResNet-20 및 CNTK와 같은 더 큰 아키텍처보다 일관되게 뛰어난 성능을 보였다.
• 모든 벤치마크에서 데이터 증강이 테스트 정확도를 최대 20%까지 향상시켜 소규모 데이터 학습에서의 핵심적 역할을 입증하였다.
• 클래스당 16개의 샘플만 있는 상황에서도 CNN-lc는 부분 샘플링된 CIFAR-10에서 CNTK보다 3~5%의 정확도 향상을 달성하여 아키텍처의 단순성의 이점을 입증하였다.
• 시험한 소규모 데이터 설정에서는 코스인 손실이 교차 엔트로피 손실을 능가하지 못했으며, 특히 더 작은 모델에서는 그러한 이점이 없었다. 이는 코스인 손실의 이점이 맥락에 따라 달라질 수 있음을 시사한다.
• 드롭아웃은 소규모 데이터 환경에서도 정규화 효과를 유지하였지만, 클래스당 샘플 수가 10개로 감소할 경우 그 효과는 약간 감소하였다.
• 표준 데이터 증강 파이프라인은 매우 효과적이며, 특히 모델 용량이 제한된 경우 소규모 데이터 훈련에서 필수적인 요소로 고려되어야 한다.