[논문 리뷰] SWNet: Small-World Neural Networks and Rapid Convergence

Mojan Javaheripi, Bita Darvish Rouhani외 1명|arXiv (Cornell University)|2019. 04. 09.

Neural Networks and Applications참고 문헌 28인용 수 8

한 줄 요약

이 논문은 표준 피드포워드 네트워크를 소월 구조로 변환하여 학습 수렴 속도를 가속화하는 새로운 딥러닝 아키텍처인 SWNet을 제안한다. 소월 네트워크 이론에 영감을 얻어 전략적으로 희박한 장거리 스킵 커넥션을 추가함으로써, SWNet은 기준 모델 대비 최대 2.1배 빠른 수렴 속도를 달성하면서도, DenseNet 대비 최대 10배 감소한 파라미터를 사용하며 정확도에 손실가지 않음.

ABSTRACT

Training large and highly accurate deep learning (DL) models is computationally costly. This cost is in great part due to the excessive number of trained parameters, which are well-known to be redundant and compressible for the execution phase. This paper proposes a novel transformation which changes the topology of the DL architecture such that it reaches an optimal cross-layer connectivity. This transformation leverages our important observation that for a set level of accuracy, convergence is fastest when network topology reaches the boundary of a Small-World Network. Small-world graphs are known to possess a specific connectivity structure that enables enhanced signal propagation among nodes. Our small-world models, called SWNets, provide several intriguing benefits: they facilitate data (gradient) flow within the network, enable feature-map reuse by adding long-range connections and accommodate various network architectures/datasets. Compared to densely connected networks (e.g., DenseNets), SWNets require a substantially fewer number of training parameters while maintaining a similar level of classification accuracy. We evaluate our networks on various DL model architectures and image classification datasets, namely, CIFAR10, CIFAR100, and ILSVRC (ImageNet). Our experiments demonstrate an average of ~2.1x improvement in convergence speed to the desired accuracy

연구 동기 및 목표

• 과도하게 파라미터화된 아키텍처로 인해 발생하는 딥러닝 모델 학습의 높은 계산 비용을 해결하기 위해.
• 네트워크 구조를 재구성함으로써 정확도를 유지하면서도 학습 수렴 속도를 향상시키기 위해.
• 특히 소월 네트워크 성질을 활용한 그래프 이론 원리를 적용하여 CNN 내의 계층 간 연결성을 최적화하기 위해.
• 파라미터의 부여 중복을 줄이면서도 특징 전파 및 기울기 흐름을 유지하거나 향상시키기 위해.
• 학습 데이터에 종속되지 않은 사전 학습 아키텍처 변환 기법을 개발하여 희박한 장거리 연결을 통해 신호 전파를 향상시키기 위해.

제안 방법

• 딥 네트워크를 그래프로 재구성하고, 소월 네트워크 구조를 강제로 적용하기 위해 맞춤형 리워핑 알고리즘을 적용함.
• 정규성과 무작위성의 균형을 이루기 위해, 정량적 소월도 지표를 사용해 계층 간 연결을 재구성함.
• 비접근 계층 간에 희박한 비국소적 컨벌루션 연결(S-CONV)을 도입하여 장거리 정보 전파를 가능하게 함.
• 학습 이전에 네트워크를 재구성함으로써, 기울기, 손실 또는 학습 데이터에 종속되지 않는 방법을 확보함.
• 표준 컨벌루션 계층을 유지하면서 최적화된 희박한 스킵 커넥션을 추가하는 구조 전환 기법을 적용함.
• 재학습 없이 다양한 아키텍처(ResNet, DenseNet, AlexNet)와 데이터셋(CIFAR10, CIFAR100, ImageNet)에 동일한 전환 기법을 적용함.

실험 결과

연구 질문

• RQ1 딥 네트워크의 연결 패턴을 소월 구조로 재구성할 경우, 학습 수렴 속도가 상당히 향상되는가?
• RQ2 소월 성질을 가진 신경망 아키텍처는 표준 또는 밀접하게 연결된 아키텍처에 비해 기울기 및 특징맵 전파를 향상시키는가?
• RQ3 DenseNet 및 ResNet 대비 SWNet이 얼마나 많은 학습 가능 파라미터를 줄일 수 있으며, 분류 정확도를 유지하거나 향상시키는가?
• RQ4 SWNet의 장거리 연결은 학습 중에 학습된 가중치 분포와 계층 간 의존성에 어떤 영향을 미치는가?
• RQ5 제안된 구조 전환 기법은 다양한 네트워크 아키텍처와 데이터셋에 일반적으로 적용되어 성능 저하 없이 작동하는가?

주요 결과

• CIFAR10, CIFAR100, ImageNet 전반에서 SWNet은 기준 피드포워드 네트워크 대비 평균 2.1배 빠른 수렴 속도를 달성함.
• ImageNet에서 SWNet의 ResNet-18과 동일한 성능(31.72% 테스트 오차)을 7,168 반복만에 달성함. 기준 모델은 9,344 반복 소요되며, 이는 해당 시점에서 1.31배의 속도 향상.
• 3,456 반복 시점에서 SWNet은 테스트 오차 56.76%를 기록함. 기준 ResNet-18은 56.94%를 기록함으로써 더 빠른 수렴을 확인함.
• SWNet은 파라미터를 10배 감소시켜도 DenseNet과 동일한 성능를 유지함으로써 뛰어난 파라미터 효율성을 입증함.
• 학습된 가중치의 시각화 결과, 초기 계층과 깊은 계층 간 강력한 계층 간 의존성이 존재함을 확인함으로써 장거리 연결의 중요성을 검증함.
• 입력 계층이 모든 더 깊은 계층과 강력하고 분산된 연결을 유지함을 통해, 초기 특징이 후속 단계로 효과적으로 전파됨을 나타냄.