[논문 리뷰] Stochastic Optimization of Plain Convolutional Neural Networks with Simple methods

Yahia Saeed Assiri|arXiv (Cornell University)|2020. 01. 23.

Neural Networks and Applications참고 문헌 16인용 수 16

한 줄 요약

이 논문은 데이터 증강, 드롭아웃, 및 맞춤형 조기 정지 기준을 사용하여 일반적인 합성곱 신경망(CNNs)에 대한 단순하지만 효과적인 정규화 파이프라인을 제안한다. 이러한 기법들을 조합함으로써 저자들은 MNIST, SVHN, STL10에서 최신 기술 수준(SOTA) 성능을 달성하였으며, CIFAR10과 CIFAR100에서도 높은 정확도를 기록하여 구조적 복잡성 없이도 단순한 방법이 경쟁 가능한 성능을 낼 수 있음을 보여준다.

ABSTRACT

Convolutional neural networks have been achieving the best possible accuracies in many visual pattern classification problems. However, due to the model capacity required to capture such representations, they are often oversensitive to overfitting and therefore require proper regularization to generalize well. In this paper, we present a combination of regularization techniques which work together to get better performance, we built plain CNNs, and then we used data augmentation, dropout and customized early stopping function, we tested and evaluated these techniques by applying models on five famous datasets, MNIST, CIFAR10, CIFAR100, SVHN, STL10, and we achieved three state-of-the-art-of (MNIST, SVHN, STL10) and very high-Accuracy on the other two datasets.

연구 동기 및 목표

• 구조적 복잡성 없이 일반적인 CNN의 일반화 성능을 향상시키기 위해.
• 시각적 패턴 분류에 있어 단순한 정규화 기법의 조합 효과를 조사하기 위해.
• 최소한의 구조적 혁신으로 기준 데이터셋에서 최신 기술 수준 성능을 달성하기 위해.
• 실제로 구현 가능한 정규화 전략을 통해 고용량 모델의 과적합을 줄이기 위해.

제안 방법

• 저자들은 잔차 연결이나 고급 모듈을 사용하지 않은 일반적인 CNN을 훈련한다.
• 데이터 증강을 적용하여 훈련 세트의 다양성과 강건성을 높인다.
• 드롭아웃은 완전 연결층에 적용되어 뉴런 간의 상호 적응을 방지한다.
• 맞춤형 조기 정지 함수를 설계하여 검증 손실이 정체될 경우 훈련을 중단함으로써 과적합을 방지한다.
• 이러한 기법들의 조합은 다섯 개인 표준 데이터셋에서 체계적으로 평가된다.
• 훈련 과정은 표준 하이퍼파rameter와 표준 최적화기와 함께 확률적 최적화를 사용한다.

실험 결과

연구 질문

• RQ1 단순한 정규화 기법의 조합이 표준 비전 벤치마크에서 더 복잡한 아키텍처를 능가할 수 있는가?
• RQ2 일반적인 CNN에서 데이터 증강이 드롭아웃 및 조기 정지와 함께 조합되었을 때 얼마나 효과적인가?
• RQ3 일반적인 CNN이 잔차 연결이나 고급 모듈 없이 최신 기술 수준 성능을 달성할 수 있는 정도는 어느 정도인가?
• RQ4 표준 조기 정지와 비교해 맞춤형 조기 정지 함수가 일반화에 미치는 영향은 무엇인가?
• RQ5 제안된 파이프라인이 다양한 복잡도를 가진 다양한 데이터셋으로 일반화되는가?

주요 결과

• 이 방법은 MNIST 데이터셋에서 최신 기술 수준의 정확도를 달성하여 이전 접근 방식을 능가하였다.
• SVHN 데이터셋에서 최신 기술 수준의 성능을 달성하여 혼잡하고 실제 세계의 숫자 이미지에 대한 강력한 일반화 능력을 보여주었다.
• STL10 데이터셋에서 최신 기술 수준의 결과를 달성하여 소규모이고 복잡한 이미지에 대한 강건성을 시사하였다.
• CIFAR10과 CIFAR100에서도 높은 정확도를 기록하였지만 최신 기술 수준은 아니었으며, 강력한 일반화 성능을 확인하였다.
• 데이터 증강, 드롭아웃, 맞춤형 조기 정지의 조합은 고용량 모델에서 과적합을 크게 감소시켰다.
• 결과는 구조적 단순성과 효과적인 정규화의 조합이 표준 벤치마크에서 경쟁 가능한 성능을 낼 수 있음을 보여주었다.