[논문 리뷰] High-Performance Neural Networks for Visual Object Classification

Dan Cireşan, Ueli Meier외 3명|arXiv (Cornell University)|2011. 02. 01.

Advanced Neural Network Applications참고 문헌 22인용 수 220

한 줄 요약

이 논문은 시각적 객체 분류를 위한 고성능이며 완전히 파rameterizable인 GPU 기반 딥 컨volution 신경망(CNN) 구현을 제시한다. GPU에서 엔드 투 엔드 백프로파게이션 학습을 통해, MNIST에서 0.35%, NORB에서 2.53%, CIFAR10에서 19.51%의 최신 기준 오차율을 달성하였으며, 이는 온라인 스토하스틱 경사 하강법으로 훈련된 깊고 희박하게 연결된 CNN 모델이 얕은 모델을 능가하고 비지도 사전학습이 필요로 하지 않는다는 것을 보여준다.

ABSTRACT

We present a fast, fully parameterizable GPU implementation of Convolutional Neural Network variants. Our feature extractors are neither carefully designed nor pre-wired, but rather learned in a supervised way. Our deep hierarchical architectures achieve the best published results on benchmarks for object classification (NORB, CIFAR10) and handwritten digit recognition (MNIST), with error rates of 2.53%, 19.51%, 0.35%, respectively. Deep nets trained by simple back-propagation perform better than more shallow ones. Learning is surprisingly rapid. NORB is completely trained within five epochs. Test error rates on MNIST drop to 2.42%, 0.97% and 0.48% after 1, 3 and 17 epochs, respectively.

연구 동기 및 목표

• 시각적 객체 분류를 위한 고속, 유연하고 완전히 파rameterizable인 GPU 기반 딥 컨volution 신경망의 구현을 개발하는 것.
• 표준 벤치마크에서 네트워크 깊이, 너비 및 아키텍처 구성 요소(예: 최대 풀링, 전처리)가 분류 성능에 미치는 영향을 조사하는 것.
• 간단한 백프로파게이션을 통해 훈련된 딥 CNN이 비지도 사전학습 없이도 얕은 아키텍처를 능가할 수 있음을 보여주는 것.
• CPU 기반 방법에 비해 훨씬 빠른 훈련 시간을 제공함으로써 대규모 하이퍼파rameter 공간의 빠른 탐색을 가능하게 하는 것.

제안 방법

• 이 방법은 컨볼루션층과 최대 풀링층을 번갈아 배치한 완전히 파rameterizable인 CNN 아키텍처를 사용하며, 커널 크기, 스킵 팩터, 필터 매핑 수를 자유롭게 설정할 수 있다.
• 각 컨볼루션층은 수신 필드 전역에 걸쳐 공유 가중치를 사용하며, 지정된 커널 크기와 스트라이드를 가진 필터를 적용한다. 이는 공식 $ M^{n}_{x} = \frac{M^{n-1}_{x} - K^{n}_{x}}{S^{n}_{x} + 1} + 1 $ 에 의해 계산된다.
• 최대 풀링층은 비중첩되는 $ K_{x} \times K_{y} $ 영역 내에서 최대 활성화를 취함으로써 특징 맵을 다운샘플링하며, 위치 불변성을 향상시킨다.
• 엔드 투 엔드 훈련을 위해 온라인 스토하스틱 경사 하강법을 사용하며, 학습률 감소(각 에포크마다 0.993 배수)를 적용한다.
• 선택적 이미지 처리 레이어는 고정된 필터(예: 소벨, 샤르, 대비 추출 필터)를 적용하여 입력 표현을 향상시킬 수 있다.
• 이 구현은 GPU 실행을 최적화하여 CPU 최적화 버전 대비 10~60배 빠른 성능을 달성하였으며, 대규모 네트워크의 빠른 훈련을 가능하게 하였다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 백프로파게이션을 통한 깊고 완전히 연결된 CNN의 훈련은 기존 얕은 네트워크에 비해 표준 벤치마크에서 더 뛰어난 성능을 낼 수 있는가?
• RQ2 최대 풀링, 커널 크기, 필터 매핑 수와 같은 아키텍처 선택이 분류 정확도와 일반화에 어떤 영향을 미치는가?
• RQ3 이미지 이동을 통한 데이터 증강은 영구적인 이동 불변성에도 불구하고 일반화를 향상시킬 수 있는가?
• RQ4 고정된 필터(예: 에지 검출기)를 통한 전처리는 성능 향상에 기여하는가, 아니면 원본 입력에 비해 해로운가?
• RQ5 GPU 가속은 CNN 설계에서 대규모 하이퍼파rameter 공간 탐색을 얼마나 효율적으로 가능하게 하는가?

주요 결과

• 제안된 GPU 가속 CNN은 MNIST 벤치마크에서 테스트 오차율 0.35%를 기록하여 당시 최고 성능을 달성하였다.
• NORB 데이터셋에서 네트워크는 테스트 오차율 2.53%를 기록하였으며, 이는 이전 방법들을 능가하는 성능이었다.
• CIFAR10에서 최고의 네트워크는 테스트 오차율 19.51%를 달성하였으며, 이는 이전 최고 기록인 20.40% 및 25.50%를 초월한 결과였다.
• 각 층의 필터 매핑 수를 100에서 300으로 늘였을 때 오차율이 가장 낮아졌으며(19.51%), 400개로 더 늘여도 성능 향상이 없었다.
• 이미지 이동을 통한 훈련 증강은 CIFAR10 오차율을 증강 없이 훈련한 경우의 28.87%에서 20.26%로 감소시켰으며, 데이터 증강의 유용성을 입증하였다.
• GPU 구현은 대규모 네트워크에서 CPU 최적화 버전 대비 60배 이상 빠른 성능을 보였으며, 훈련 시간을 수일에서 수시간으로 단축시켰다.