[논문 리뷰] Training Sparse Neural Networks

Suraj Srinivas, Akshayvarun Subramanya외 1명|arXiv (Cornell University)|2016. 11. 21.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 11

한 줄 요약

이 논문은 이산화 가능한 게이팅 메커니즘을 제안하여, 이진 게이팅 변수를 학습하여 매개변수를 동적으로 프루닝함으로써 스퍼스 신경망의 엔드 투 엔드 훈련을 가능하게 한다. 게이팅 변수에 이중모드 정규화를 적용하고, 임계값을 0.5로 설정함으로써 최소한의 정확도 손실로 최신 기술 수준의 압축 성능을 달성한다. AlexNet에서 최대 10.3배의 매개변수 감소를 이끌어내며 69.04%의 top-1 정확도를 유지한다.

ABSTRACT

Deep neural networks with lots of parameters are typically used for large-scale computer vision tasks such as image classification. This is a result of using dense matrix multiplications and convolutions. However, sparse computations are known to be much more efficient. In this work, we train and build neural networks which implicitly use sparse computations. We introduce additional gate variables to perform parameter selection and show that this is equivalent to using a spike-and-slab prior. We experimentally validate our method on both small and large networks and achieve state-of-the-art compression results for sparse neural network models.

연구 동기 및 목표

• 딥 뉴럴 네트워크 훈련 중에 구조적 희박성을 유도하는 방법을 개발하여 성능 저하 없이 매개변수 수를 감소시키는 것.
• 기존의 L1/L2 정규화가 비볼록적인 딥 러닝 문제에서 의미 있는 희박성을 유도하지 못하는 문제에 대응하는 것.
• 이산화 가능한 게이팅 메커니즘을 통해 가중치와 프루닝 결정을 동시에 학습함으로써 스퍼스 네트워크의 엔드 투 엔드 훈련을 가능하게 하는 것.
• LeNet-5, AlexNet, VGG-16와 같은 표준 비전 벤치마크에서 최신 기술 수준의 모델 압축 비율을 달성하는 것.
• 기존 가중치의 크기를 기반으로 게이팅 변수를 사전 초기화하여 초기화에 대한 민감도를 줄이고 효율적인 피니어 튜닝을 보장하는 것.

제안 방법

• 학습 가능한 게이팅 변수 G를 도입하며, 이는 이산화 가능하고 베르누이 확률로 해석되며, 이진 샘플 G^s를 사용해 가중치를 마스킹한다.
• 게이팅 변수에 w×(1−w) 형태의 이중모드 정규화를 적용하여 값들이 0 또는 1에 집중되도록 유도함으로써 희박성을 촉진한다.
• 실수값 게이팅을 0.5에서 임계값 처리(최대우도 추출)하여 이진 마스크로 변환함으로써 추론 시 결정론성을 확보한다.
• 게이팅 변수에 대한 이중모드 정규화와 L1 또는 L2 정규화를 결합하여 훈련 안정성과 희박성 향상을 높인다.
• 공동 최적화 목표를 사용: 손실(ŷ(θ,Φ), y) + λ‖Φ‖, 여기서 Φ는 G^s에서 유도된 인덱스 집합이며 총 매개변수 수를 페널티로 삼는다.
• 게이팅 변수를 사전 초기화하여 상위-k% 가중치에 대해 g=1, 나머지에는 g=0.49로 설정함으로써 초기 훈련 단계에서 중요한 매개변수를 유지한다.

실험 결과

연구 질문

• RQ1 이산화 가능하고 학습 가능한 게이팅 메커니즘이 엔드 투 엔드 훈련 중에 딥 뉴럴 네트워크의 구조적 희박성을 효과적으로 유도할 수 있는가?
• RQ2 게이팅 변수에 대한 이중모드 정규화가 비볼록적인 딥 러닝 문제에서 기존의 L1/L2 페널티와 비교해 의미 있는 희박성을 얼마나 잘 유도하는가?
• RQ3 가중치 크기를 기반으로 게이팅 변수를 사전 초기화하는 것이 수렴 속도와 최종 희박성-정확도 트레이드오프에 어떤 영향을 미치는가?
• RQ4 이 방법은 AlexNet과 VGG-16와 같은 표준 비전 아키텍처에서 최신 기술 수준의 압축 비율을 달성하면서도 높은 정확도를 유지할 수 있는가?
• RQ5 기존의 프루닝 및 압축 기법과 비교해 이 방법의 훈련 시간과 압축 효율성 측면에서의 확장성은 어떠한가?

주요 결과

• 제안된 방법은 AlexNet에서 10.3배의 압축 비율(980만 개의 매개변수 포함 인덱스)을 달성하며 69.04%의 top-1 정확도를 유지하여 이전 방법들을 능가한다.
• VGG-16에서는 14배의 압축 비율을 달성하며 69.04%의 top-1 정확도를 유지하여 다양한 아키텍처에 걸쳐 강력한 일반화 성능을 보였다.
• LeNet-5에서는 매개변수의 96%를 제거하면서 정확도 손실이 0.24%에 불과하여 최신 기술 수준의 압축 성능를 달성했다.
• AlexNet에서 피니어 튜닝 시간을 약 18시간으로 줄였으며(이전 연구 대비 173시간), 단일 Titan X GPU에서 18시간의 훈련으로만 가능했다.
• 가중치 크기를 기반으로 게이팅 변수를 사전 초기화하면 특히 완전연결층에서 95%의 희박성을 달성하는 데 있어 최종 희박성과 정확도가 크게 향상된다.
• 초기화에 대한 민감도가 낮아, 일정 초기화와 확률적 초기화 모두 유사한 희박성 수준을 보이며 훈련의 안정성을 입증한다.