[논문 리뷰] Depth-Width Trade-offs for Neural Networks via Topological Entropy

Kaifeng Bu, Yaobo Zhang외 1명|arXiv (Cornell University)|2020. 10. 15.

Neural Networks and Applications참고 문헌 23인용 수 6

한 줄 요약

이 논문은 심층 신경망의 표현력과 동역학계에서의 위상적 엔트로피 사이에 새로운 연결 고리를 설정한다. ReLU 네트워크의 깊이 $ l $ 및 각 층의 노드 수 $ m $ 에 대해 위상적 엔트로피의 상한을 $ O(l/\log m) $ 으로 도출하고, 함수의 위상적 엔트로피를 기반으로 한 $ L^\infty $-근사화에 필요한 네트워크 크기에 대한 지수적 하한을 증명함으로써, 엔트로피 기반의 복잡도 측정을 통한 깊이-너비 상호보완성 관계를 드러낸다.

ABSTRACT

One of the central problems in the study of deep learning theory is to understand how the structure properties, such as depth, width and the number of nodes, affect the expressivity of deep neural networks. In this work, we show a new connection between the expressivity of deep neural networks and topological entropy from dynamical system, which can be used to characterize depth-width trade-offs of neural networks. We provide an upper bound on the topological entropy of neural networks with continuous semi-algebraic units by the structure parameters. Specifically, the topological entropy of ReLU network with $l$ layers and $m$ nodes per layer is upper bounded by $O(l\log m)$. Besides, if the neural network is a good approximation of some function $f$, then the size of the neural network has an exponential lower bound with respect to the topological entropy of $f$. Moreover, we discuss the relationship between topological entropy, the number of oscillations, periods and Lipschitz constant.

연구 동기 및 목표

• 심층 신경망의 표현력과 동역학계에서의 위상적 엔트로피 사이의 이론적 연결 고리를 수립하기 위해.
• 위상적 엔트로피를 복잡도 측정으로 사용하여 신경망의 깊이-너비 상호보완성을 정량화하기 위해.
• 함수의 위상적 엔트로피를 기반으로 $ L^\infty $-근사화에 필요한 네트워크 크기에 대한 지수적 하한을 도출하기 위해.
• 연속 함수에서 위상적 엔트로피, 진동 수, 주기, 리프시츠 상수 간의 관계를 탐색하기 위해.
• 위상적 불변량을 통해 딥 러닝에서 일반화와 근사 복잡도를 이해하기 위한 기초를 마련하기 위해.

제안 방법

• 연속 함수의 복잡도 측정으로서 위상적 엔트로피를 사용하며, 개방 커버와 최소 부분커버의 기수 성장률을 통해 정의한다.
• 신경망 함수의 복잡도 분석을 위해 Adler-Konheim-McAndrew 정의를 적용한다.
• ReLU 네트워크의 위상적 엔트로피에 대한 상한을 도출하며, 활성화 유닛의 준대수적 구조를 활용하여 $ l $ 층과 층당 $ m $ 개의 노드를 가진 네트워크에 대해 $ O(l \log m) $ 로 유도한다.
• 함수 $ f $ 를 $ L^\infty $-근사하기 위해 필요한 ReLU 네트워크의 크기에 하한을 설정하며, 너비 $ m $ 가 $ m = \exp(\Omega(h_{\text{top}}(f)/l)) $ 를 만족해야 한다고 증명한다.
• 반복 함수의 리프시츠 상수의 渐진적 행동을 분석하고, 하중성 및 변동 기반 특성화를 통해 위상적 엔트로피와 연결한다.
• $ L^\infty $ 수렴 하에서 위상적 엔트로피의 하부 연속성을 이용하여 $ L^\infty $-근사화에 대한 네트워크 크기에 대한 지수적 하한을 유도한다.

실험 결과

연구 질문

• RQ1 위상적 엔트로피는 심층 신경망이 표현할 수 있는 함수의 복잡도 측정으로서 어떻게 기능하는가?
• RQ2 깊이 $ l $ 과 너비 $ m $ 에 따라 ReLU 네트워크의 위상적 엔트로피에 대한 상한은 무엇인가?
• RQ3 주어진 함수 $ f $ 를 $ L^\infty $-근사하기 위해 필요한 최소 네트워크 크기는 함수의 위상적 엔트로피와 어떤 관계가 있는가?
• RQ4 연속 함수에서 위상적 엔트로피, 진동 수, 주기, 리프시츠 상수는 어떻게 관련되어 있는가?
• RQ5 $ L^\infty $ 수렴 하에서 위상적 엔트로피의 하부 연속성은 네트워크 크기에 대한 지수적 하한을 증명하는 데 어떻게 활용될 수 있는가?

주요 결과

• 층 수 $ l $ 과 층당 노드 수 $ m $ 를 가진 ReLU 네트워크의 위상적 엔트로피는 $ O(l \log m) $ 이하로 상한이 존재한다.
• 임의의 함수 $ f $ 에 대해 $ L^\infty $-근사화를 위해 $ l $ 층과 $ m $ 너비를 가진 ReLU 네트워크가 필요로 하는 너비 $ m $ 는 $ m = \exp(\Omega(h_{\text{top}}(f)/l)) $ 를 만족하며, 이는 함수의 위상적 엔트로피에 대한 지수적 하한을 의미한다.
• $ \lim_{k\to\infty} \frac{1}{k} \log_2 L(f^k) $ 의 극한이 존재하며, 그 값은 $ h_{\text{top}}(f) $ 이상이다. 여기서 $ L(f^k) $ 는 함수 $ f $ 의 $ k $ 번째 반복의 리프시츠 상수이다.
• 함수 $ f $ 가 조각별 단조일 경우 $ L(f^k) \geq 1 $ 이면, $ L(f^k) \geq 2^{k h_{\text{top}}(f)} $ 를 만족하며, 이는 위상적 엔트로피가 양일 경우 리프시츠 상수가 지수적으로 증가함을 보여준다.
• 함수 $ f $ 의 위상적 엔트로피는 $ h_{\text{top}}(f) = \lim_{k\to\infty} \frac{1}{k} \log_2 \text{Var}(f^k) $ 를 만족하며, 여기서 $ \text{Var}(f^k) $ 는 $ f $ 의 $ k $ 번째 반복의 변동이다.
• 함수의 위상적 엔트로피가 $ L^\infty $-수렴 하에서 하부 연속성임은 $ L^\infty $-근사화에 대한 네트워크 크기에 대한 지수적 하한을 증명하는 데 핵심적인 역할을 한다.