[논문 리뷰] Topological Insights in Sparse Neural Networks.

Shiwei Liu, Tim van der Lee외 6명|arXiv (Cornell University)|2020. 06. 24.

Advanced Graph Neural Networks인용 수 2

한 줄 요약

이 논문은 신경망 희소 구조 거리(이하 NNSTD)를 도입하며, 이는 희소 신경망 구조를 측정하고 비교하는 그래프 이론 기반 방법이다. 본 연구에서는 적응형 희소 연결성이 다양한 고성능의 하위망을 드러내며, 이는 밀도 높은 모델을 뛰어넘고, 로또 티켓 가설이 제안하는 것보다 더 강력한 승리 티켓 도달 경로를 제공한다.

ABSTRACT

Sparse neural networks are effective approaches to reduce the resource requirements for the deployment of deep neural networks. Recently, the concept of adaptive sparse connectivity, has emerged to allow training sparse neural networks from scratch by optimizing the sparse structure during training. However, comparing different sparse topologies and determining how sparse topologies evolve during training, especially for the situation in which the sparse structure optimization is involved, remain as challenging open questions. This comparison becomes increasingly complex as the number of possible topological comparisons increases exponentially with the size of networks. In this work, we introduce an approach to understand and compare sparse neural network topologies from the perspective of graph theory. We first propose Neural Network Sparse Topology Distance (NNSTD) to measure the distance between different sparse neural networks. Further, we demonstrate that sparse neural networks can outperform over-parameterized models in terms of performance, even without any further structure optimization. To the end, we also show that adaptive sparse connectivity can always unveil a plenitude of sparse sub-networks with very different topologies which outperform the dense model, by quantifying and comparing their topological evolutionary processes. The latter findings complement the Lottery Ticket Hypothesis by showing that there is a much more efficient and robust way to find winning tickets. Altogether, our results start enabling a better theoretical understanding of sparse neural networks, and demonstrate the utility of using graph theory to analyze them.

연구 동기 및 목표

• 훈련 중 적응형 희소성과 함께 사용될 때, 희소 신경망 구조를 비교하고 분석하는 데 도전하는 것.
• 특히 구조 최적화가 포함된 경우, 희소 구조가 훈련 도중 어떻게 진화하는지 이해하는 것.
• 그래프 이론을 활용해 희소 신경망에 대한 이론적 기반을 마련하여, 구조 비교의 지수적 복잡도를 극복하는 것.
• 추가적인 구조 최적화 없이도, 희소 네트워크가 과다 파rameter화된 모델을 능가할 수 있음을 보여주는 것.
• 적응형 희소 연결성이 일관되게 높은 성능을 보이며, 서로 다른 위상적 특성을 지닌 다양한 하위망을 드러내는 것.

제안 방법

• 희소 신경망 간의 위상적 차이를 정량화하기 위한 그래프 이론 기반 메트릭인 신경망 희소 구조 거리(이하 NNSTD)를 제안한다.
• 신경망의 뉴런을 노드로, 비영인 가중치를 간선으로 모델링하여 위상적 분석이 가능하도록 한다.
• 그래프 유사도 측정법을 사용해 NNSTD를 계산함으로써, 희소 아키텍처 간의 체계적 비교를 가능하게 한다.
• 학습 도중 네트워크 구조를 동적으로 최적화할 수 있도록 적응형 희소 연결성 훈련을 활용한다.
• NNSTD를 사용해 훈련 전반에 걸친 희소 하위망의 위상적 진화를 분석하여 구조적 변화를 추적한다.
• 밀도 높은 모델 및 과다 파rameter화된 기준 모델과의 성능 및 위상 비교를 수행한다.

실험 결과

연구 질문

• RQ1 희소 신경망 아키텍처 간의 위상적 차이를 어떻게 체계적으로 비교하고 측정할 수 있는가?
• RQ2 추가적인 구조 최적화 없이도, 희소 신경망이 밀도 높은 모델이나 과다 파arameter화된 모델을 얼마나 뛰어나게 성능을 낼 수 있는가?
• RQ3 적응형 연결성이 사용될 경우, 희소 위상은 훈련 도중 어떻게 진화하는가?
• RQ4 적응형 희소 연결성을 통해 발견된 하위망의 다양성과 성능 분포는 어떠한가?
• RQ5 그래프 이론적 분석을 통해 기존 접근법보다 더 강력하고 효율적인 승리 티켓 식별 방법을 도출할 수 있는가?

주요 결과

• NNSTD는 희소 신경망 간의 위상적 차이를 효과적으로 정량화하여 체계적 비교를 가능하게 한다.
• 추가적인 구조 최적화 없이도, 희소 신경망이 밀도 높은 모델보다 뛰어난 성능을 달성할 수 있음을 보여준다.
• 적응형 희소 연결성은 일관되게 높은 성능을 보이며, 매우 다양한 위상적 특성을 지닌 하위망을 드러낸다.
• 이러한 발견된 하위망은 원래의 밀도 높은 모델을 능가하며, 많은 강력한 승리 티켓의 존재를 입증한다.
• 훈련 도중 희소 네트워크의 위상적 진화는 복잡하고 균일하지 않은 구조적 변화를 보이며, 이는 NNSTD를 통해 측정하고 분석할 수 있다.
• 결과적으로, 로또 티켓 가설만으로는 부족한 바, 적응형 희소성은 승리 티켓을 찾는 데 더 효율적이고 신뢰할 수 있는 길을 제공한다.