[논문 리뷰] Faster learning of deep stacked autoencoders on multi-core systems using synchronized layer-wise pre-training

Anirban Santara, Debapriya Maji외 3명|arXiv (Cornell University)|2016. 03. 09.

Advanced Neural Network Applications참고 문헌 8인용 수 4

한 줄 요약

이 논문은 다층 스택드 오토인코더를 위한 동기화된 병렬 계층별 사전학습 알고리즘을 제안하며, 각 계층을 동시에 학습하면서 정기적인 동기화를 통해 다중 코어 시스템에서 학습 속도를 가속화하고 과적합을 줄이며, MNIST 데이터셋에서 재구성 정확도를 유지하면서도 탐욕적 사전학습 대비 26.17% 빠른 속도 향상을 달성한다.

ABSTRACT

Deep neural networks are capable of modelling highly non-linear functions by capturing different levels of abstraction of data hierarchically. While training deep networks, first the system is initialized near a good optimum by greedy layer-wise unsupervised pre-training. However, with burgeoning data and increasing dimensions of the architecture, the time complexity of this approach becomes enormous. Also, greedy pre-training of the layers often turns detrimental by over-training a layer causing it to lose harmony with the rest of the network. In this paper a synchronized parallel algorithm for pre-training deep networks on multi-core machines has been proposed. Different layers are trained by parallel threads running on different cores with regular synchronization. Thus the pre-training process becomes faster and chances of over-training are reduced. This is experimentally validated using a stacked autoencoder for dimensionality reduction of MNIST handwritten digit database. The proposed algorithm achieved 26\% speed-up compared to greedy layer-wise pre-training for achieving the same reconstruction accuracy substantiating its potential as an alternative.

연구 동기 및 목표

• 대규모 데이터셋과 복잡한 아키텍처에서 깊이 있는 스택드 오토인코더의 탐욕적 계층별 사전학습의 높은 시간 복잡도를 해결하기 위해.
• 각 계층을 순차적으로 탐욕적으로 학습함으로써 발생하는 과적합 및 계층 불일치 위험을 줄이기 위해.
• 다중 코어 프로세서에서 계층을 병렬 실행하고 정기적인 동기화를 통해 사전학습을 가속화하기 위해.
• 학습 시간을 크게 단축시키면서도 재구성 정확도를 유지하거나 향상시키기 위해.
• 기존의 미세조정 병렬화 기법과 잘 통합되는 스케일러블하고 탐욕적이지 않은 사전학습 방법의 대안을 제공하기 위해.

제안 방법

• 각 계층을 별도의 스레드로 다른 CPU 코어에서 병렬로 학습시킨다.
• 정기적인 간격마다 동기화가 발생하며, 각 계층의 학습 데이터는 이전 계층의 성숙한 출력 기반으로 업데이트된다.
• 데이터의 성숙도가 한 계층에서 다음 계층으로 전파되어, 각 계층이 업데이트된 고수준 표현을 기반으로 학습하도록 보장한다.
• 제한된 볼츠만 기계(RBMs)를 사용하여 대trastive divergence 알고리즘을 적용해 각 계층을 사전학습하고, 수렴 여부를 재구성 오차를 모니터링하여 확인한다.
• 사전학습 중 데이터 일관성을 확보하기 위해 계단식 메커니즘을 통해 전체 과정이 동기화된다.
• 전체 사전학습 시간은 가장 느린 계층(예: 첫 번째 계층)에 의해 결정되며, 나머지 모든 계층은 이와 동기화되어 업데이트된다.

실험 결과

연구 질문

• RQ1 정기적인 동기화를 통한 스택드 오토인코더 계층의 병렬 사전학습이 재구성 정확도를 희생시키지 않고 학습 시간을 단축시킬 수 있는가?
• RQ2 탐욕적 계층별 사전학습에 비해 동기화된 사전학습이 과적합 및 계층 불일치 위험을 완화하는가?
• RQ3 MNIST 데이터셋에서 속도와 재구성 오차 측면에서 동기화 사전학습의 성능은 탐욕적 사전학습과 어떻게 비교되는가?
• RQ4 정기적인 동기화가 내부 계층의 일반화 행동에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 기존의 미세조정 단계 병렬화 전략과 원활하게 통합될 수 있는가?

주요 결과

• 제안된 동기화 사전학습 알고리즘이 탐욕적 계층별 사전학습 대비 26.17% 빠른 속도 향상을 달성하여, 1시간 49분 11초의 학습 시간을 기록한 반면, 탐욕적 사전학습은 3시간 14분 43초가 소요되었다.
• 동일한 재구성 정확도가 더 짧은 시간 내에 달성되어, 병렬화로 인한 성능 저하가 없음을 확인했다.
• 네 번째 계층은 초기에 높은 학습 및 검증 오차로 과적합이 발생했으나, 동기화 덕분에 매개변수가 성숙한 데이터에 적응하면서 문제가 해결되었다.
• 모든 계층의 학습 및 검증 오차가 시간이 지남에 따라 수렴하여 성공적인 일반화와 효과적인 학습이 이루어졌음을 나타냈다.
• 스레드 간 통신 오버헤드는 무시할 만큼 작았으며, RBM 에포크당 소요 시간보다 5에서 6자리 수준 작았다.
• 빠른 계층에 대해 20 에포크를 초과해 사전학습을 연장해도 최종 정확도 향상에 기여하지 않았으며, 이는 총 학습 시간이 가장 느린 계층에 의해 결정됨을 확인했다.