[논문 리뷰] Slim, Sparse, and Shortcut Networks

Fenglei Fan, Dayang Wang외 5명|arXiv (Cornell University)|2018. 11. 22.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 4

한 줄 요약

이 논문은 이론적으로 근거가 있는 스파arsed(shortcut) 연결 구조를 활용하여 최소한의 너비로 보편적 근사가 가능한 슬림하고 흐린(sparse)이며 스파이크 기반의 신경망 아키텍처인 S3-Net을 제안한다. 전략적으로 배치된 스파이크 연결을 가진 한 개의 뉴런 너비를 가진 네트워크가 어떤 단변수 함수라도 근사할 수 있음을 보여줌으로써, 저자들은 너비가 제한된 보편적 근사기(approximator)를 확립하고, 스펙트럼 분석과 일반화 경계를 통해 스파이크 연결이 표현 능력과 일반화 성능을 향상시켜, 벤치마크에서 밀집 연결 모델 및 최첨단 모델보다 뛰어난 성능을 내는 것으로 밝혀냈다.

ABSTRACT

Over the recent years, deep learning has become the mainstream data-driven approach to solve many real-world problems in many important areas. Among the successful network architectures, shortcut connections are well established to take the outputs of earlier layers as additional inputs to later layers, which have produced excellent results. Despite the extraordinary power, there remain important questions on the underlying mechanism and associated functionalities regarding shortcuts. For example, why are the shortcuts powerful? How to tune the shortcut topology to optimize the efficiency and capacity of the network model? Along this direction, here we first demonstrate a topology of shortcut connections that can make a one-neuron-wide deep network approximate any univariate function. Then, we present a novel width-bounded universal approximator in contrast to depth-bounded universal approximators. Next we demonstrate a family of theoretically equivalent networks, corroborated by the concerning statistical significance experiments, and their graph spectral characterization, thereby associating the representation ability of neural network with their graph spectral properties. Furthermore, we shed light on the effect of concatenation shortcuts on the margin-based multi-class generalization bound of deep networks. Encouraged by the positive results from the bounds analysis, we instantiate a slim, sparse, and shortcut network (S3-Net) and the experimental results demonstrate that the S3-Net can achieve better learning performance than the densely connected networks and other state-of-the-art models on some well-known benchmarks.

연구 동기 및 목표

• 스파이크 연결이 깊은 신경망에서 어떻게 작용하는지, 그리고 그 기능적 역할을 이해하는 것.
• 기존의 깊이 제한 기반 접근 방식과 대비하여, 스파이크 연결 구조를 활용한 너비 제한 보편 근사기(approximator)를 개발하는 것.
• 네트워크 구조, 그래프 스펙트럼 성질, 표현 능력 간의 이론적이고 경험적인 연결 고리를 설정하는 것.
• 컨카테네이션 스파이크 연결이 마진 기반 다중 클래스 일반화 경계에 미치는 영향을 분석하는 것.
• S3-Net을 설계하고 평가하는 것 — 이는 흐린(sparse), 효율적인 아키텍처로, 밀집 연결 모델 및 최첨단 모델보다 뛰어난 성능을 보인다.

제안 방법

• 전략적으로 배치된 스파이크 연결을 가진 새로운 한 뉴런 너비의 깊은 네트워크를 제안하여, 어떤 단변수 함수라도 근사할 수 있도록 하여 너비 제한 보편 근사기를 확립하는 것.
• 서로 이론적으로 동치인 신경망의 가족을 수식화하고, 그들의 그래프 스펙트럼 성질을 분석하여 네트워크 구조와 표현 능력 간의 연결 고리를 설정하는 것.
• 컨카테네이션 스파이크 연결을 가진 깊은 네트워크의 마진 기반 일반화 경계를 유도하고 분석하여, 일반화 능력 향상을 입증하는 것.
• 이론적 발견의 실용적 구현으로 S3-Net을 설계하여, 흐림, 슬림한 너비, 스파이크 통합에 중점을 두는 것.
• 통계적 유의성 검정과 스펙트럼 특성 분석을 통해 이론적 주장과 아키텍처의 강건성을 검증하는 것.
• 유명한 벤치마크에서 S3-Net을 평가하고, 밀집 연결 모델 및 최첨단 모델과의 성능를 비교하는 것.

실험 결과

연구 질문

• RQ1 왜 스파이크 연결은 깊은 신경망에서 강력한가?
• RQ2 스파이크 연결 구조는 어떻게 조정되어 모델의 효율성과 표현 능력을 최적화할 수 있는가?
• RQ3 스파이크 연결을 가진 한 뉴런 너비의 깊은 네트워크가 보편적 근사를 달성할 수 있는가?
• RQ4 네트워크의 그래프 스펙트럼 성질과 표현 능력 간의 관계는 무엇인가?
• RQ5 컨카테네이션 스파이크 연결은 깊은 네트워크의 마진 기반 일반화 경계에 어떻게 영향을 미치는가?

주요 결과

• 적절히 설계된 스파이크 연결을 가진 한 뉴런 너비의 깊은 네트워크는 어떤 단변수 함수라도 보편적으로 근사할 수 있으며, 이는 너비 제한 보편 근사기를 확립하는 데 기여한다.
• 스파이크 연결 네트워크의 가족 간 이론적 동치성은 통계적 유의성 검정을 통해 뒷받침되며, 아키텍처의 강건성을 뒷받침한다.
• 그래프 스펙트럼 분석을 통해 네트워크 구조와 표현 능력 간의 강력한 연관성이 드러나며, 깊은 네트워크를 이해하는 데 새로운 이론적 시각을 제공한다.
• 컨카테네이션 스파이크 연결이 마진 기반 다중 클래스 일반화 경계를 향상시킴을 입증하여, 그 경험적 성공을 설명한다.
• S3-Net은 여러 유명한 벤치마크에서 밀집 연결 네트워크 및 다른 최첨단 모델보다 뛰어난 학습 성능을 보였다.