[논문 리뷰] Sparse Neural Networks Topologies

Alfred Bourely, John Patrick Boueri외 1명|arXiv (Cornell University)|2017. 06. 18.

Neural Networks and Applications참고 문헌 11인용 수 8

한 줄 요약

이 논문은 정확도를 훼손하지 않고 모델 압축과 더 빠른 추론을 달성하기 위해 무작위 또는 구조적 이분 그래프 구조를 기반으로 한 희소 신경망(SNN) 아키텍처를 제안한다. 특히 피보나치 또는 정규 그래프와 같은 구조적 구조를 사용하여 학습 이전에 희소 연결을 명시적으로 정의함으로써, SNN이 희소성의 특성과 유사한 '확산자 유사' 성질을 보이는 경우, 예를 들어 높은 대수적 연결성과 스펙트럼 갭을 갖는 경우, 완전 연결 네트워크를 능가하거나 이를 따라잡는 정확도를 달성할 수 있음을 보여준다.

ABSTRACT

We propose Sparse Neural Network architectures that are based on random or structured bipartite graph topologies. Sparse architectures provide compression of the models learned and speed-ups of computations, they can also surpass their unstructured or fully connected counterparts. As we show, even more compact topologies of the so-called SNN (Sparse Neural Network) can be achieved with the use of structured graphs of connections between consecutive layers of neurons. In this paper, we investigate how the accuracy and training speed of the models depend on the topology and sparsity of the neural network. Previous approaches using sparcity are all based on fully connected neural network models and create sparcity during training phase, instead we explicitly define a sparse architectures of connections before the training. Building compact neural network models is coherent with empirical observations showing that there is much redundancy in learned neural network models. We show experimentally that the accuracy of the models learned with neural networks depends on expander-like properties of the underlying topologies such as the spectral gap and algebraic connectivity rather than the density of the graphs of connections.

연구 동기 및 목표

• 신경망의 구조와 희소성이 모델 정확도와 학습 속도에 미치는 영향를 조사하는 것.
• 학습 중에 완전 연결 네트워크를 희소화하는 대신, 구조적 그래프 구조를 사용하여 컴act하고 고도로 압축 가능한 SNN 아키텍처를 설계하는 것.
• SNN 성능과 관련된 그래프 이론적 성질—예를 들어 대수적 연결성과 스펙트럼 갭—을 특정하는 것.
• 드롭아웃과 같은 오버피팅 방지 기법과 더 깊은 네트워크 아키텍처에서 SNN의 강건성을 평가하는 것.
• 희소 구조에서 희소성, 가중치 분포, 그리고 모델 일반화 사이의 관계를 이해하는 것.

제안 방법

• 연속된 레이어 간의 이분 그래프에 대해 무게 없는 $ n \times m $ 행렬을 사용하여 인접 행렬을 정의하며, 연결이 존재할 경우 $ \text{Adj}[i][j] = 1 $ 이다.
• 정규(균일한 차수) 및 피보나치(유사 정규 및 유사 무작위)와 같은 구조적 구조를 사용하여 희소하고 압축 가능한 연결 패턴을 생성한다.
• 각 레이어에서 가중치 행렬에 인접 행렬의 원소를 요소별로 적용하여 학습 초반부터 희소성을 강제한다.
• 스펙트럼 갭과 라플라시안 행렬의 대수적 연결성을 핵심 그래프 성질로 삼아 성능을 측정한다.
• 고정된 구조를 가진 SNN을 학습하고, 다양한 데이터셋과 설정에서 완전 연결 기준선과의 정확도 및 학습 속도를 비교한다.
• 드롭아웃(0.2 및 0.5)과 더 깊은 아키텍처(예: 784-500-300-10)를 사용하여 정규화 및 깊이에 따른 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 희소 구조 선택(무작위 대비 구조적)이 SNN의 정확도와 학습 속도에 어떤 영향을 미치는가?
• RQ2 피보나치 또는 정규 그래프와 같은 구조적 희소 구조가 모델 크기를 줄이며 정확도를 향상시킬 수 있는가?
• RQ3 스펙트럼 갭 또는 대수적 연결성과 같은 그래프 이론적 성질이 고성능 SNN 아키텍처를 예측하는 데 어떤 역할을 하는가?
• RQ4 드롭아웃이나 더 깊은 네트워크 설정에서 SNN은 어떻게 성능을 발휘하는가?
• RQ5 희소성은 SNN에서 학습된 가중치의 분포와 크기에 어떤 영향을 미치는가?

주요 결과

• 특히 피보나치 및 정규 그래프와 같은 구조적 구조를 가진 SNN은 유사하거나 더 낮은 희소성 수준에서도 완전 연결 네트워크보다 높은 정확도를 달성한다.
• 매우 희소한 영역(10% 이하 연결성)에서 피보나치 SNN은 그 유사 무작위 및 유사 정규적 구조 덕분에 높은 정확도를 유지하며 다른 구조보다 뛰어난 성능을 보인다.
• 기본이 되는 그래프 구조의 대수적 연결성과 스펙트럼 갭은 모델 정확도와 강하게 상관되어 있으며, 이는 '확산자 유사' 성질이 일반화 능력을 향상시킨다는 것을 시사한다.
• 단지 30%의 연결만을 유지하더라도, 피보나치 또는 정규 구조를 가진 SNN은 동일한 학습 에포크 수 동안 완전 연결 대비 0.15%의 정확도 향상을 달성한다.
• 드롭아웃(0.2 및 0.5)을 적용하더라도 구조적 SNN의 성능 우위는 손상되지 않아, 오버피팅에 대한 강건성을 확인한다.
• 희소성이 증가함에 따라 학습된 가중치의 최대값, 최소값, 표준편차가 감소함을 확인하여, 남아있는 가중치가 더욱 중요하고 귀중해지는 경향이 있음을 시사한다.