[논문 리뷰] Fast, simple and accurate handwritten digit classification using extreme learning machines with shaped input-weights.

Mark D. McDonnell, Migel D. Tissera외 2명|arXiv (Cornell University)|2014. 12. 29.

Machine Learning and ELM인용 수 9

한 줄 요약

이 논문은 국소화된 이미지 패치를 무작위로 샘플링하는 형상화된 입력가중치를 사용한 극단적 학습 기계(ELM)를 활용한 빠르고 정확한 수작업 숫자 분류기를 제안한다. 이 방법은 MNIST에서 1% 미만, NORB에서 5.5% 미만의 오차율을 달성하며, 10분 이내로 학습이 가능하여 표준 ELM를 뛰어나며, 깊이 있는 네트워크와 경쟁할 수 있다.

ABSTRACT

Recent advances in training deep (multi-layer) architectures have inspired a renaissance in neural network use. For example, deep convolutional networks are becoming the default option for difficult tasks on large datasets, such as image and speech recognition. However, here we show that error rates below 1% on the MNIST handwritten digit benchmark can be replicated with shallow non-convolutional neural networks. This is achieved by training such networks using the 'Extreme Learning Machine' (ELM) approach, which also enables a very rapid training time (~10 minutes). Adding distortions, as is common practise for MNIST, reduces error rates even further. Our methods are also shown to be capable of achieving less than 5.5% error rates on the NORB image database. To achieve these results, we introduce several enhancements to the standard ELM algorithm, which individually and in combination can significantly improve performance. The main innovation is to ensure each hidden-unit operates only on a randomly sized and positioned patch of each image. This form of random `receptive field' sampling of the input ensures the input weight matrix is sparse, with about 90% of weights equal to zero. Furthermore, combining our methods with a small number of iterations of a single-batch backpropagation method can significantly reduce the number of hidden-units required to achieve a particular performance. Our close to state-of-the-art results for MNIST and NORB suggest that the ease of use and accuracy of the ELM algorithm for designing a single-hidden-layer neural network classifier should cause it to be given greater consideration either as a standalone method for simpler problems, or as the final classification stage in deep neural networks applied to more difficult problems.

연구 동기 및 목표

• 얕은, 비컨volutional 신경망을 사용하여 MNIST 및 NORB 벤치마크에서 최신 기술 수준의 성능를 달성하기 위해.
• 표준 ELM 및 전통적인 딥 러닝 접근법과 비교해 학습 시간을 단축하고 정확도를 향상시키기 위해.
• 일반화성과 효율성 향상에 기여하는 구조적이고 희박한 입력가중치 행렬이 단일 은닉층 네트워크에 미치는 영향을 탐구하기 위해.
• 최소한의 백프로파게이션을 통합한 ELM의 효과를 평가하여 은닉 유닛 수요를 줄이기 위해.
• 최적화된 입력가중치 설계를 갖춘 얕은 네트워크가 표준 시각 작업에서 깊이 있는 아키텍처와 경쟁할 수 있음을 보여주기 위해.

제안 방법

• 각 은닉 유닛이 입력 이미지의 무작위 크기와 위치를 가진 패치에 제한되도록 하는 형상화된 입력가중치를 도입하여 수용장역을 모방한다.
• 국소화된 샘플링을 통해 약 90%의 가중치를 0으로 설정함으로써 입력가중치 행렬의 희박성을 강제로 유도한다.
• 학습 중에 무작위 왜곡을 적용하여 데이터 증강을 수행하고 오차율을 추가로 감소시킨다.
• ELM 학습 후 단일 배치의 백프로파게이션 단계를 통해 출력가중치를 미세조정하고 필요한 은닉 유닛 수를 줄인다.
• 랜덤화된 입력가중치와 고정된 은닉층을 갖춘 단일 은닉층 피드포워드 신경망을 사용하며, 출력가중치는 최소 제곱 해법을 통해 학습한다.
• 입력가중치 패턴을 제약하여 특징 국소화 및 일반화 성능 향상을 위한 ELM 프레임워크 최적화를 수행한다.

실험 결과

연구 질문

• RQ1 깊이 있는 아키텍처 없이도, ELM 학습을 적용한 얕고 비컨volutional 신경망이 MNIST에서 최신 기술 수준에 가까운 성능를 달성할 수 있는가?
• RQ2 국소화되고 희박한 입력가중치 초기화는 분류 정확도와 학습 속도에 어떤 영향을 미치는가?
• RQ3 작은 수의 백프로파게이션 반복이 더 적은 은닉 유닛 수로 ELM 성능을 향상시킬 수 있는 정도는 어느 정도인가?
• RQ4 제안된 방법은 NORB와 같은 다른 데이터셋으로 일반화될 수 있으며, 표준 ELM 및 딥 네트워크와 비교해 어떻게 성능를 보이는가?
• RQ5 무작위 왜곡을 통한 데이터 증강이 ELM 프레임워크 내에서 일반화 성능을 추가로 향상시키는가?

주요 결과

• 제안된 ELM 방법은 MNIST 벤치마크에서 테스트 오차율이 1% 미만을 기록하며, 깊이 있는 컨volution 네트워크와 경쟁한다.
• 학습 시간은 10분 이내로, 대부분의 딥 러닝 방법보다 훨씬 빠르다.
• NORB 데이터셋에서 오차율을 5.5% 이하로 낮추어, MNIST를 초월한 일반화 능력을 입증한다.
• 형상화되고 희박한 입력가중치의 사용은 백프로파게이션 없이도 국소화된 특징 추출을 가능하게 하여 성능 향상을 이룬다.
• ELM와 단일 배치 백프로파게이션 단계를 조합함으로써 필요한 은닉 유닛 수를 줄이면서도 높은 정확도를 유지할 수 있다.
• 학습 중 무작위 왜곡을 적용함으로써 오차율이 추가로 감소하여, 이 방법의 강건성을 확인한다.