[논문 리뷰] Topological Insights into Sparse Neural Networks

Shiwei Liu, Tim van der Lee외 6명|TU/e Research Portal|2020. 06. 24.

Advanced Graph Neural Networks참고 문헌 35인용 수 4

한 줄 요약

이 논문은 희박한 신경망 간의 위상적 차이를 측정하기 위한 그래프 이론 기반의 지표인 신경망 희박 위상 거리(Neural Network Sparse Topology Distance, NNSTD)를 소개한다. 적응형 희박 연결성에 NNSTD를 적용하여 분석한 결과, 많은 구조적으로 다른 희박한 하위망이 높은 성능을 달성할 수 있음을 입증하였으며, 이는 사전 훈련 없이도 다양한 위상적 구조를 가진 고성능 하위망을 발견할 수 있음을 보여주는 라프티켓 히포재시스의 보완이 된다.

ABSTRACT

Sparse neural networks are effective approaches to reduce the resource requirements for the deployment of deep neural networks. Recently, the concept of adaptive sparse connectivity, has emerged to allow training sparse neural networks from scratch by optimizing the sparse structure during training. However, comparing different sparse topologies and determining how sparse topologies evolve during training, especially for the situation in which the sparse structure optimization is involved, remain as challenging open questions. This comparison becomes increasingly complex as the number of possible topological comparisons increases exponentially with the size of networks. In this work, we introduce an approach to understand and compare sparse neural network topologies from the perspective of graph theory. We first propose Neural Network Sparse Topology Distance (NNSTD) to measure the distance between different sparse neural networks. Further, we demonstrate that sparse neural networks can outperform over-parameterized models in terms of performance, even without any further structure optimization. To the end, we also show that adaptive sparse connectivity can always unveil a plenitude of sparse sub-networks with very different topologies which outperform the dense model, by quantifying and comparing their topological evolutionary processes. The latter findings complement the Lottery Ticket Hypothesis by showing that there is a much more efficient and robust way to find "winning tickets". Altogether, our results start enabling a better theoretical understanding of sparse neural networks, and demonstrate the utility of using graph theory to analyze them.

연구 동기 및 목표

• 희박한 신경망 위상을 비교하는 데 있어 이론적 이해 부족 문제를 해결하기 위해.
• 특히 적응형 희박 연결성 하에서 희박한 위상의 변화를 정량화하기 위해.
• 서로 다른 구조적 희박한 하위망이 유사한 성능을 달성할 수 있는지 조사하기 위해.
• 다양한 초기화 조건에서 적응형 희박 연결성이 일관되게 고성능 위상을 발견하는지 확인하기 위해.
• 그래프 기반 지표를 활용해 희박한 신경망의 이론적 분석 기반을 마련하기 위해.

제안 방법

• 그래프 편집 거리(GED)에 영감을 받은 새로운 거리 지표인 NNSTD를 제안하며, 신경망 그래프 내에서 교환 가능한 은닉 뉴런을 다룰 수 있도록 조정한다.
• 희박한 신경망을 대규모 신경망 그래프로 모델링하며, 가중치 연결을 간선으로, 뉴런을 노드로 간주한다.
• 노드 순열 불변성을 NNSTD에 통합하여, 뉴런 재정렬에도 불구하고 위상 유사성이 유지되도록 보장한다.
• 다양한 랜덤 시드와 프루닝 비율에서 Sparse Evolutionary Training(SET)을 통해 진화한 희박한 위상 간 비교에 NNSTD를 적용한다.
• 고정된 위상에서의 재훈련 실험을 통해 성능 기여도를 위상 최적화와 가중치 최적화로 분리한다.
• 훈련 중 위상 진화 경로를 시각화하여, 희박한 구조가 시간이 지남에 따라 어떻게 적응하는지 분석한다.

실험 결과

연구 질문

• RQ1 고성능 희박한 신경망 위상은 위상적으로 얼마나 다른가?
• RQ2 사전 훈련 없이 매우 다른 희박한 위상도 동일한 성능을 달성할 수 있는가?
• RQ3 적응형 희박 연결성이 얼마나 다양한 고성능 위상을 드러내는가?
• RQ4 적응형 연결성 하에서 희박한 네트워크의 위상적 구조는 훈련 중 어떻게 진화하는가?
• RQ5 희박한 네트워크의 성능는 위상, 가중치 최적화, 또는 둘 다에 기인하는가?

주요 결과

• NNSTD는 희박한 신경망 간의 위상적 차이를 성공적으로 측정하여, 그들의 구조적 다양성을 정량적으로 비교할 수 있게 한다.
• 많은 서로 다른 구조적 희박한 하위망이 밀도 있는 모델보다 비교적 높거나 더 높은 테스트 정확도를 달성하며, 이는 다수의 고성능 위상이 존재함을 보여준다.
• SET를 통한 적응형 희박 연결성은 일관되게 다양한 위상적 차이를 가진 하위망을 발견하며, 이 모든 하위망이 밀도 있는 기준 모델을 초월한다.
• 랜덤 가중치에서 시작하여 고정된 위상으로 재훈련한 결과 성능이 시간이 지남에 따라 향상되며, 이는 위상 진화가 성공에 핵심적임을 시사한다.
• 가중치 최적화와 위상 최적화의 조합이 필수적임을 보여주며, 최적화된 위상과 랜덤 초기화된 희박한 네트워크는 뿐만 아니라 랜덤 초기화된 희박한 네트워크가 높은 성능을 달성한다.
• 결과적으로 적응형 희박 연결성은 幸운 초기화나 사전 훈련에 의존하지 않고도 고성능 하위망을 효과적으로 발견할 수 있는 강력한 방법임을 시사한다.