[논문 리뷰] Evolving and understanding sparse deep neural networks using cosine similarity

Joost Pieterse, Constantin Mocanu|Data Archiving and Networked Services (DANS)|2019. 03. 17.

Evolutionary Algorithms and Applications참고 문헌 61인용 수 6

한 줄 요약

이 논문은 코사인 유사도를 통해 토폴로지 진화를 이끌어내는 뇌에 영감을 받은 알고리즘인 CTRE를 제안한다. 이 알고리즘은 밀도 없는 기울기 없이 낮은 크기의 가중치를 반복적으로 제거하고 가장 유사한 연결을 추가함으로써, 처음부터 매우 희박한 딥 네ural 네트워크를 훈련시킨다. CTRE는 여덟 개의 다양한 데이터셋에서 극도로 희박한 환경에서 최신 기술 수준의 성능을 달성하며, 존재하는 방법들보다 큰 격차로 앞서며, 효율적이고 자원이 제한된 환경에서도 훈련이 가능하다.

ABSTRACT

Training sparse neural networks with adaptive connectivity is an active research topic. Such networks require less storage and have lower computational complexity compared to their dense counterparts. The Sparse Evolutionary Training (SET) procedure uses weights magnitude to evolve efficiently the topology of a sparse network to fit the dataset, while enabling it to have quadratically less parameters than its dense counterpart. To this end, we propose a novel approach that evolves a sparse network topology based on the behavior of neurons in the network. More exactly, the cosine similarities between the activations of any two neurons are used to determine which connections are added to or removed from the network. By integrating our approach within the SET procedure, we propose 5 new algorithms to train sparse neural networks. We argue that our approach has low additional computational complexity and we draw a parallel to Hebbian learning. Experiments are performed on 8 datasets taken from various domains to demonstrate the general applicability of our approach. Even without optimizing hyperparameters for specific datasets, the experiments show that our proposed training algorithms usually outperform SET and state-of-the-art dense neural network techniques. The last but not the least, we show that the evolved connectivity patterns of the input neurons reflect their impact on the classification task.

연구 동기 및 목표

• 저자원 장치에서 밀도 높은 신경망을 훈련시키는 데 드는 높은 계산 비용과 메모리 비용을 해결하기 위해.
• 기존의 희박한 훈련 방법의 한계를 극복하기 위해, 예를 들어 밀도 높은 기울기에 의존하거나 높은 희박성에서 성능이 열 劣한 문제를 해결하기 위해.
• 생물학적으로 타당하고 효율적이며 확장 가능한 방법을 개발하여, 처음부터 희박한 신경망을 훈련시키기 위해.
• 에지 디바이스와 데이터 센터에 적합한 희박 모델을 지원함으로써 에너지 효율적인 AI를 실현하기 위해.

제안 방법

• CTRE 알고리즘은 각 에포크마다 가장 작은 크기의 가중치를 제거하여 희박한 신경망 토폴로지의 진화를 이끈다.
• 이중 인접한 층의 뉴런 활성화 간의 코사인 유사도 행렬을 계산하여, 추가할 가장 중요한 연결을 식별한다.
• 이전에 제거되지 않은 가장 높은 유사도 연결을 추가함으로써, 희박한 기울기 계산을 보장한다.
• 가장 높은 유사도 연결이 제거된 경우, 랜덤 연결을 삽입하여 국소 최적값에서 벗어나도록 한다.
• 완전한 밀도 높은 가중치에 대한 역전파 없이, 희박하고 반복적인 방식으로 연결을 제거하고 추가하는 과정을 번갈아가며 수행한다.
• 두 가지 변형을 평가한다: CTRE seq(순차적) 및 CTRE sim(동시적) 탐색 방식의 유사도와 무작위성 통합.

Figure 1 : Schematic of the proposed approach (CTRE sim ). At each epoch, after feed-forward and back-propagation, a fraction $\zeta$ of the weights with the smallest magnitude is dropped (red connections). Then, similarity matrices ${\bm{Sim}}^{1}$ and ${\bm{Sim}}^{2}$ are computed using Equation 2

실험 결과

연구 질문

• RQ1 밀도 없는 기울기 계산 없이도 뉴런 활성화 간의 코사인 유사도가 희박한 신경망 토폴로지의 진화를 효과적으로 이끌 수 있는가?
• RQ2 최신 기술 수준의 희박한 훈련 방법과 비교할 때 CTRE는 극도로 희박한 환경에서 어떻게 성능을 내는가?
• RQ3 무작위 탐색 통합이 높은 희박성 설정에서 CTRE가 열 劣한 국소 최적값에 갇히는 것을 방지하는가?
• RQ4 CTRE는 저자원 장치에서 낮은 계산 비용과 메모리 오버헤드를 유지하면서도 경쟁 가능한 성능을 달성할 수 있는가?

주요 결과

• CTRE는 극도로 희박한 신경망에서 모든 최신 기술 수준의 희박한 훈련 알고리즘을 압도하며, 일부 데이터셋에서는 정확도 향상 폭이 최대 15%에 이른다.
• MNIST 및 CIFAR-10 데이터셋에서 CTRE는 95% 희박성에서도 밀도 높은 기준선과 1% 이내의 테스트 정확도를 달성하지만, 다른 방법들은 수렴하지 못한다.
• 대규모 네트워크에서의 훈련 손실 곡선을 통해 CTRE의 수렴 속도는 특히 높은 희박성 환경에서 기준 방법보다 뚜렷이 빠르게 나타난다.
• 제거 실험 결과에 따르면 무작위 탐색이 필수적임을 확인할 수 있다: CTRE w/oRandom은 Isolet 데이터셋에서 200 에포크 이후에 더 이상 향상되지 않고 국소 최적값에 갇힌다.
• 코사인 유사도는 중간 및 높은 중요도 범위에서 중요한 연결을 효과적으로 식별하며, 희박한 환경에서 크기 기반 순위 매기기보다 뛰어난 성능을 보인다.
• 이 방법은 밀도 없는 기울기 없이도 처음부터 희박한 네트워크를 훈련시킬 수 있어, 저자원 장치에 배포하기에 적합하다.

Figure 2 : Classification accuracy (%) comparison among methods on a highly large and sparse 3-layer MLP with a density lower than $0.3\%$ ( $n^{l}=1000$ , $\varepsilon=1$ ).