[논문 리뷰] Dynamic Sparse Graph for Efficient Deep Learning

Liu Liu, Lei Deng외 5명|arXiv (Cornell University)|2018. 10. 01.

Advanced Neural Network Applications참고 문헌 60인용 수 4

한 줄 요약

이 논문은 동적 스퍼스 그래프(DSG)를 제안하며, 차원 감소 검색과 이중 마스크 선택을 통해 활성화되는 뉴런을 동적으로 선택하여 메모리 및 계산 비용을 크게 절감하는 새로운 학습 및 추론 프레임워크이다. DSG는 다양한 벤치마크에서 정확도 손실이 최소화된 상태로 메모리 사용량을 1.7–4.5배 감소시키고 연산 수를 2.3–4.4배 줄이며, 배치 정규화(BN) 호환성을 유지하고 엣지 디바이스에서 효율적인 구현을 가능하게 한다.

ABSTRACT

We propose to execute deep neural networks (DNNs) with dynamic and sparse graph (DSG) structure for compressive memory and accelerative execution during both training and inference. The great success of DNNs motivates the pursuing of lightweight models for the deployment onto embedded devices. However, most of the previous studies optimize for inference while neglect training or even complicate it. Training is far more intractable, since (i) the neurons dominate the memory cost rather than the weights in inference; (ii) the dynamic activation makes previous sparse acceleration via one-off optimization on fixed weight invalid; (iii) batch normalization (BN) is critical for maintaining accuracy while its activation reorganization damages the sparsity. To address these issues, DSG activates only a small amount of neurons with high selectivity at each iteration via a dimension-reduction search (DRS) and obtains the BN compatibility via a double-mask selection (DMS). Experiments show significant memory saving (1.7-4.5x) and operation reduction (2.3-4.4x) with little accuracy loss on various benchmarks.

연구 동기 및 목표

• 활성화값이 가중치가 아닌 메모리 사용을 주로 차지하는 DNN 학습에서의 메모리 및 계산 병목 현상을 해결하기 위해.
• 기존의 스퍼시티 기법이 추론 최적화에 맞춰져 있으나, 동적 활성화 및 BN 호환성 문제로 인해 학습을 복잡하게 만드는 한계를 극복하기 위해.
• 모델 정확도를 유지하면서도 통합적이고 BN 호환성 있는 스퍼시티 메커니즘을 통해 학습 및 추론 가속화를 실현하기 위해.
• 각 학습 반복에서 가장 선택도가 높은 뉴런만 활성화하여 표현의 중복을 줄이기 위해.
• 학습 및 추론 단계에서의 메모리 프로파일과 계산 비용을 최소화하여 자원 제약이 있는 엣지 디바이스에의 배포를 지원하기 위해.

제안 방법

• DSG는 각 학습 반복에서 가장 선택도가 높은 뉴런만 식별하고 활성화하기 위해 차원 감소 검색을 활용하여 활성화 메모리와 계산량을 감소시킨다.
• 이중 마스크 선택 메커니즘을 통해 미니배치 간 활성화 통계를 유지함으로써 배치 정규화(BN) 호환성을 유지한다.
• 이 방법은 반복마다 동적으로 계산 그래프를 재구성하여 순방향 및 역방향 전파 전반에 걸쳐 스퍼시티가 유지되도록 보장한다.
• 스퍼시티는 가중치 수준이 아니라 뉴런 수준에 적용되며, 가중치 프루닝이 아닌 활성화의 중복을 타겟으로 한다.
• 단일 노드 및 분산 학습 모두를 지원하며, 타일링 및 데이터 재사용 최적화를 통한 하드웨어 가속화 가능성이 있다.
• 학습 후 동일한 스퍼시티 패턴을 추론 단계에서 재사용할 수 있어, 배포 단계 전반에 걸쳐 일관된 효율성을 확보할 수 있다.

실험 결과

연구 질문

• RQ1 모델 정확도를 훼손하지 않으면서 DNN 학습에서 메모리 및 계산 비용을 효과적으로 줄일 수 있는 방법은 무엇인가?
• RQ2 기존의 추론 최적화 스퍼시티 기법이 왜 학습을 가속화하지 못하는가? 핵심 병목 요소는 무엇인가?
• RQ3 활성화 재조정으로 인해 스퍼시티를 해치는 데에도 불구하고, 스퍼스 트레이닝 환경에서 배치 정규화를 어떻게 유지할 수 있는가?
• RQ4 역전파 과정에서 동적이고 뉴런 수준의 스퍼시티를 효율적으로 계산하고 유지할 수 있는가?
• RQ5 다양한 DNN 아키텍처에 걸쳐 동적 스퍼시티가 메모리 및 계산 비용을 얼마나 줄일 수 있는가?

주요 결과

• DSG는 DNN 학습 시 최대 4.5배의 메모리 절감과 추론 시 1.7배의 절감을 달성하여 표현 비용을 크게 줄였다.
• 추론 시 최대 4.4배, 학습 시 2.3배의 연산 수 감소를 이룩했으며, 다양한 벤치마크에서 정확도 손실이 최소화되었다.
• 이중 마스크 선택 메커니즘이 성공적으로 배치 정규화 호환성을 유지하여, 스퍼시티에도 불구하고 모델 정확도를 그대로 유지했다.
• VGG8, ResNet8, AlexNet에서의 실험 결과, DSG는 동일한 MACs를 가진 더 작은 밀집 모델보다 학습 시간과 정확도에서 뛰어난 성능을 보였다.
• 동적 스퍼시티 메커니즘은 효율적인 순방향 및 역방향 전파를 가능하게 하여 클라우드 및 엣지 배포 모두에 적합하다.
• 기존 학습 파ip라인과 호환되며, 분산 학습 환경으로의 확장도 가능하다.