[논문 리뷰] Handwritten Digit Recognition with a Committee of Deep Neural Nets on GPUs

Dan Cireşan, Ueli Meier외 2명|arXiv (Cornell University)|2011. 03. 23.

Advanced Neural Network Applications참고 문헌 10인용 수 26

한 줄 요약

이 논문은 다양한 방식으로 사전 처리하고 증강한 MNIST 이미지를 기반으로 훈련된 깊이 있는 다층퍼셉트론(MLP)들의 위원회를 제안하여 최신의 손글씨 숫자 인식 성능을 달성한다. 숫자의 종횡비를 정규화하고 GPU 가속을 통한 온라인 데이터 증강(변형)을 적용함으로써, 위원회는 당시까지 보고된 바 중 가장 낮은 0.31%의 오차율을 달성하였으며, 개별 네트워크나 복잡한 아키텍처를 능가하였다.

ABSTRACT

The competitive MNIST handwritten digit recognition benchmark has a long history of broken records since 1998. The most recent substantial improvement by others dates back 7 years (error rate 0.4%) . Recently we were able to significantly improve this result, using graphics cards to greatly speed up training of simple but deep MLPs, which achieved 0.35%, outperforming all the previous more complex methods. Here we report another substantial improvement: 0.31% obtained using a committee of MLPs.

연구 동기 및 목표

• 기존의 최신 기술을 뛰어넘는 손글씨 숫자 인식 정확도를 MNIST 벤치마크에서 향상시키기 위해.
• 각각 다른 사전 처리된 데이터로 훈련된 다수의 깊이 있는 MLP를 조합함으로써 일반화 오차를 줄일 수 있는지 여부를 조사하기 위해.
• 온라인 데이터 증강을 통해 과적합을 방지하고, 깊고 대규모의 MLP를 효율적으로 훈련하기 위해 GPU 가속을 활용하기 위해.
• 입력 정규화(예: 너비 스케일링)와 변형 기법이 깊이 있는 신경망의 일반화에 미치는 영향을 탐색하기 위해.

제안 방법

• GPU 가속된 데이터에서 확률적 경사 하강법과 역전파를 사용하여 깊이 있는 MLP(841-2500-2000-1500-1000-500-10 뉴런)를 훈련시키기.
• 매개변수 σ, α, β, γ를 사용한 애핀 변형(회전, 스케일링, 비틀기)과 탄성 변형을 통한 온라인 데이터 증강을 적용하여 다양한 훈련 인스턴스 생성하기.
• 숫자 1과 7를 제외한 숫자의 경계 상자 너비를 10, 12, 14, 16, 18, 20 픽셀로 정규화하여 종횡비 변동성을 포착하기.
• 각각 다른 사전 처리된 훈련 데이터로 훈련된 동일한 7개의 MLP로 구성된 위원회를 사용하고, 최종 예측을 평균 내어 분류하기.
• 특히 탄성 변형을 위한 가우시안 컨볼루션과 같은 계산이 가장 집약적인 부분을 GPU에 최적화하여 훈련 속도 향상시키기.
• 검증 오차 기반으로 각 위원회 구성원 중 가장 성능이 좋은 네트워크를 선택한 후, 표준 MNIST 테스트 세트에서 모델 평가하기.

실험 결과

연구 질문

• RQ1 다양한 사전 처리된 MNIST 데이터로 훈련된 동일한 깊이 있는 MLP들의 위원회가 개별 네트워크보다 더 낮은 오차율을 달성할 수 있는가?
• RQ2 구조적 복잡성 없이 온라인 변형을 통한 데이터 증강이 깊이 있는 MLP의 일반화 성능을 크게 향상시키는가?
• RQ3 입력 정규화(예: 너비 스케일링)가 글쓰기 스타일의 변동성을 포착함으로써 오차를 어느 정도 감소시키는가?
• RQ4 GPU 가속을 통해 매우 깊고 대규모의 MLP를 온라인 데이터 증강과 함께 대규모로 훈련시킬 수 있으며, 이로 인해 MNIST 성능 향상이 이루어지는가?

주요 결과

• 7개의 깊이 있는 MLP로 구성된 위원회는 테스트 오차율 0.31%를 달성하였으며, 당시까지 보고된 바 중 가장 낮은 수준이었다.
• 위원들 내 개별 네트워크의 오차율은 0.35%에서 0.52% 사이였으며, 가장 우수한 단일 네트워크는 0.32% 오차율을 기록하였다.
• 위원의 성능은 어떤 개별 네트워크보다도 유의미하게 뛰어나, 사전 처리 방식의 다양성에 의한 오차 다양성의 이점을 입증하였다.
• 위원이 잘못 분류한 31개의 숫자 중 대부분은 모호하거나 불량한 글씨로, 네트워크의 두 번째 추측에서 29개가 올바르게 분류되었다.
• GPU 가속 덕분에 역전파 처리 속도가 50배 향상되었고, 데이터 변형 처리 속도도 10배 향상되어 대규모 온라인 증강이 가능해졌다.
• 복잡한 아키텍처(비지도 사전 훈련, 특수 레이어, 다양한 분류기의 앙상블 포함)를 능가하는 성능을 보였으며, 단지 단순한 깊이 있는 MLP들만을 사용하였다.