[논문 리뷰] Accelerating Deep Learning with Shrinkage and Recall

Shuai Zheng, Abhinav Vishnu외 1명|arXiv (Cornell University)|2016. 05. 04.

Neural Networks and Applications참고 문헌 27인용 수 5

한 줄 요약

이 논문은 DNN, DBN, CNN 모델에서 학습 중 불필요한 계산을 건너뛰기 위해 특징 축소와 재활용 메커니즘을 결합한 새로운 프레임워크 sDLr를 제안한다. 초기 단계에서 영향력이 낮은 샘플과 특징을 식별하고 제외함으로써 sDLr는 다양한 데이터셋에서 분류 정확도를 유지하거나 향상시키면서도 DNN, DBN, CNN 모델에서 2배 이상의 속도 향상을 달성한다.

ABSTRACT

Deep Learning is a very powerful machine learning model. Deep Learning trains a large number of parameters for multiple layers and is very slow when data is in large scale and the architecture size is large. Inspired from the shrinking technique used in accelerating computation of Support Vector Machines (SVM) algorithm and screening technique used in LASSO, we propose a shrinking Deep Learning with recall (sDLr) approach to speed up deep learning computation. We experiment shrinking Deep Learning with recall (sDLr) using Deep Neural Network (DNN), Deep Belief Network (DBN) and Convolution Neural Network (CNN) on 4 data sets. Results show that the speedup using shrinking Deep Learning with recall (sDLr) can reach more than 2.0 while still giving competitive classification performance.

연구 동기 및 목표

• DNN, DBN, CNN과 같은 대규모 딥러닝 모델 학습의 높은 계산 비용을 해결하기 위해.
• 특히 대규모 데이터 및 깊은 아키텍처 환경에서 분류 성능을 희생시키지 않고 훈련 시간을 단축하기 위해.
• 컴퓨터 비전 및 과학 데이터를 포함한 다양한 딥러닝 모델과 데이터 유형으로의 가속화 일반화를 위해.
• 기본 백프로파게이션 알고리즘을 수정하지 않고도 적용 가능한 모델 독립적이고 확장 가능한 접근법을 도입하기 위해.

제안 방법

• SVM에서 영감을 얻은 축소 메커니즘을 제안하여 기울기 업데이트에 미치는 영향이 최소인 훈련 샘플을 식별하고 제외한다.
• 모델 정확도를 유지하기 위해 이전에 제외된 샘플을 이후 반복에서 재평가하고 다시 통합하는 재활용 전략을 도입한다.
• 백프로파게이션 중에 영향력이 낮은 특징을 식별하고 제거함으로써 특징 수준의 축소를 적용하여 계산 부담을 줄인다.
• 전체 훈련 데이터의 비율(예: 총 샘플 수의 20%)을 기반으로 동적 임계값 설정 메커니즘을 사용하여 제외할 샘플을 결정한다.
• 핵심 학습 알고리즘을 수정하지 않고 DNN, DBN, CNN 아키텍처에 표준 백프로파게이션에 축소 및 재활용 기법을 통합한다.
• 샘플을 미니배치 단위로 제외 대상 여부를 평가하는 배치 기반 처리 전략을 활용하여 효율적인 병렬 처리를 가능하게 한다.

실험 결과

연구 질문

• RQ1 축소 및 재활용 메커니즘이 분류 정확도를 떨어뜨리지 않고 딥러닝 모델의 훈련 시간을 크게 단축시킬 수 있는가?
• RQ2 sDLr 프레임워크는 다양한 딥러닝 아키텍처(DNN, DBN, CNN)와 데이터셋(MNIST, CIFAR-10, 힉스 보손, 대체 스플라이싱)에서 어떻게 성능을 발휘하는가?
• RQ3 sDLr를 적용할 때 속도 향상과 분류 성능 향상 사이의 상호 교환 관계는 어떠한가?
• RQ4 제안된 방법은 다양한 데이터 크기, 네트워크 깊이 및 훈련 설정으로 일반화될 수 있는가?

주요 결과

• MNIST 데이터셋에서 sDLr는 상위-1 분류 오차가 0.19% 향상된 5571초에서 3565초로 훈련 시간이 1.56배 빨라졌다.
• CIFAR-10 데이터셋에서 sDLr는 7-20-20-2 네트워크에 대해 1.62배 빠르게 작동했고, 7-50-2 네트워크에선 2.89배 빠르게 작동했으며, 오차 개선률은 각각 5.19%와 2.84%였다.
• 힉스 보손 데이터셋에서 sDLr는 1389-100-3 네트워크에 대해 1.60배 빠르게 작동했고, 1389-50-3 네트워크에선 1.60배 빠르게 작동했으며, 후자의 경우 오차 개선률이 10.4%였다.
• 대체 스플라이싱 데이터셋에서 sDLr는 1.60배 빠른 속도를 기록했고, 평균 제곱오차가 감소하여 회귀 성능 향상을 나타냈다.
• 여러 구성에서 2배 이상의 속도 향상을 달성하여 다양한 모델 유형과 데이터 스케일에서 일관된 가속화를 입증했다.
• 특히 힉스 보손 7-50-2 네트워크의 경우 sDLr가 분류 정확도를 향상시켰다(오차 감소 2.84%), 이는 프루닝이 일반화 성능을 향상시킬 수 있음을 시사한다.