[논문 리뷰] Best Practices for Convolutional Neural Networks Applied to Object Recognition in Images

Anderson de Andrade|arXiv (Cornell University)|2019. 10. 29.

Advanced Neural Network Applications참고 문헌 13인용 수 10

한 줄 요약

이 논문은 CIFAR-10 데이터셋을 사용하여 이미지 객체 인식에서 합성곱 신경망(CNN)의 최적 실천 방법을 조사한다. 아키텍처, 활성화 함수, 정규화 기법, 학습 전략을 평가하여, ReLU 유닛, 글로벌 대비 정규화, 그리고 광범위한 파rameter를 가진 중간 정도의 깊이의 네트워크가 뛰어난 성능을 보이며, 특히 더 깊어질수록 완전히 연결된 층에서 노이즈가 발생하는 맥스아웃 네트워크의 특성을 밝혀냈다.

ABSTRACT

This research project studies the impact of convolutional neural networks (CNN) in image classification tasks. We explore different architectures and training configurations with the use of ReLUs, Nesterov's accelerated gradient, dropout and maxout networks. We work with the CIFAR-10 dataset as part of a Kaggle competition to identify objects in images. Initial results show that CNNs outperform our baseline by acting as invariant feature detectors. Comparisons between different preprocessing procedures show better results for global contrast normalization and ZCA whitening. ReLUs are much faster than tanh units and outperform sigmoids. We provide extensive details about our training hyperparameters, providing intuition for their selection that could help enhance learning in similar situations. We design 4 models of convolutional neural networks that explore characteristics such as depth, number of feature maps, size and overlap of kernels, pooling regions, and different subsampling techniques. Results favor models of moderate depth that use an extensive number of parameters in both convolutional and dense layers. Maxout networks are able to outperform rectifiers on some models but introduce too much noise as the complexity of the fully-connected layers increases. The final discussion explains our results and provides additional techniques that could improve performance.

연구 동기 및 목표

• 다양한 CNN 아키텍처와 학습 설정이 이미지 분류 정확도에 미치는 영향을 평가하기 위해.
• ReLU, tanh, 시그모이드, 맥스아웃을 포함한 다양한 활성화 함수의 효과를 비교하기 위해.
• 글로벌 대비 정규화와 ZCA 화이트닝과 같은 전처리 기법이 모델 성능에 미치는 영향를 평가하기 위해.
• 객체 인식에서 강건한 특징 학습을 위한 최적의 하이퍼파ram터와 네트워크 깊이를 규명하기 위해.
• 유사한 이미지 분류 작업을 수행하는 실무자들에게 실질적인 통찰과 학습 직관을 제공하기 위해.

제안 방법

• CIFAR-10 데이터셋에서 깊이, 커널 크기, 겹침, 풀링 영역, 서브샘플링 기법을 다양하게 조절한 여러 CNN 모델을 학습시켰다.
• 학습 속도와 정확도를 비교하기 위해 ReLU, tanh, 시그모이드, 맥스아웃을 활성화 함수로 적용하였다.
• 입력 전처리를 위해 글로벌 대비 정규화와 ZCA 화이트닝을 사용하여 특징 표현을 향상시켰다.
• 최적화를 위해 네스터로프의 가속화된 경사하강법을, 정규화를 위해 드롭아웃을 사용하였다.
• CIFAR-10 경쟁 대회에서 제공한 테스트 세트를 사용하여 표준 이미지 분류 지표로 모델을 평가하였다.
• 하이퍼파ram터를 체계적으로 튜닝하고 그 이유를 문서화하여 재현 가능성과 지침 제공을 목적으로 하였다.

실험 결과

연구 질문

• RQ1 ReLU, tanh, 시그모이드, 맥스아웃과 같은 다양한 활성화 함수가 CNN의 학습 속도와 분류 정확도에 미치는 영향은 어떠한가?
• RQ2 글로벌 대비 정규화와 ZCA 화이트닝 중 어느 것이 모델 성능에 더 큰 영향을 미치는가?
• RQ3 네트워크 깊이와 파라미터 수가 이미지 분류에서 특징 학습과 일반화에 어떤 영향을 미치는가?
• RQ4 드롭아웃과 네스터로프의 가속화된 경사하강법이 모델의 강건성과 수렴에 얼마나 기여하는가?
• RQ5 맥스아웃 네트워크가 ReLU 기반 모델을 능가할 수 있으며, 네트워크 복잡도가 증가함에 따라 발생하는 상충 관계는 무엇인가?

주요 결과

• ReLU 유닛은 학습 속도와 분류 정확도 모두에서 시그모이드 및 tanh보다 뛰어난 성능을 보였다.
• 글로벌 대비 정규화와 ZCA 화이트닝은 다른 전처리 방법보다 일관되게 뛰어난 성능을 보였다.
• 합성곱층과 완전히 연결된 층 모두에 많은 수의 파라미터를 가진 중간 정도의 깊이의 CNN이 가장 우수한 결과를 얻었다.
• 맥스아웃 네트워크는 일부 설정에서 ReLU 기반 모델을 능가하지만, 완전히 연결된 층이 더 복잡해질수록 과도한 노이즈가 발생했다.
• ReLU, 글로벌 대비 정규화, 네스터로프의 가속화된 경사하강법의 조합이 가장 효과적인 학습 역학을 이끌었다.
• 광범위한 하이퍼파ram터 튜닝과 문서화된 직관은 유사한 이미지 인식 작업에서 최적의 성능을 달성하는 데 핵심적이다.