[논문 리뷰] Tropical Geometry of Deep Neural Networks

Liwen Zhang, Gregory Naitzat외 1명|arXiv (Cornell University)|2018. 05. 18.

Polynomial and algebraic computation참고 문헌 16인용 수 32

한 줄 요약

이 논문은 깊은 ReLU 신경망의 조각별 선형 구조를 분석하기 위해 트로픽 기하학 프레임워크를 도입하며, 각 층의 행동이 트로픽 유리 사상에 해당함을 보여준다. 주요 기여는 조각별 선형 영역 수에 대한 날카운 상한을 제시한 것으로, 이는 조각체와 민코프스키 합을 통해 유도되며, 최대 영역 수가 층 간 이항계수의 곱으로 증가함을 드러낸다.

ABSTRACT

We establish, for the first time, connections between feedforward neural networks with ReLU activation and tropical geometry --- we show that the family of such neural networks is equivalent to the family of tropical rational maps. Among other things, we deduce that feedforward ReLU neural networks with one hidden layer can be characterized by zonotopes, which serve as building blocks for deeper networks; we relate decision boundaries of such neural networks to tropical hypersurfaces, a major object of study in tropical geometry; and we prove that linear regions of such neural networks correspond to vertices of polytopes associated with tropical rational functions. An insight from our tropical formulation is that a deeper network is exponentially more expressive than a shallow network.

연구 동기 및 목표

• 깊은 ReLU 신경망의 조각별 선형 구조를 분석하기 위한 기하학적 프레임워크를 트로픽 대수를 사용해 개발한다.
• 트로픽 유리 사상과 다면체 기하학을 사용해 깊은 네트워크의 선형 영역 수를 특성화한다.
• 층별 조합론을 기반으로 깊은 네트워크의 선형 영역 수에 대한 상한을 도출한다.
• 신경망 아키텍처와 트로픽 볼록 기하학, 특히 조각체와 뉴턴 다면체 간의 연결 고리를 설정한다.
• 트로픽 대수를 통해 깊은 네트워크의 표현 능력과 복잡성에 대한 이론적 기초를 제공한다.

제안 방법

• 최대-합 대수를 사용해 각 ReLU 신경망 층을 트로픽 유리 사상으로 표현하며, 활성화 함수는 트로픽 덧셈과 곱셈에 해당한다.
• 뉴턴 다면체 공간 내 선분의 민코프스키 합(조각체)을 통해 각 층의 출력을 트로픽 다항식으로 모델링한다.
• 트로픽 유리 사상의 볼록 차수를 사용해 선형 영역 수를 정량화하며, 이는 사상의 뉴턴 다면체의 정점 수로 정의된다.
• 트로픽 거듭제곱과 다면체 연산의 성질을 적용해 층의 복합성을 조각체의 가중 민코프스키 합으로 분해한다.
• 트로픽 유리 사상의 뉴턴 다면체가 단항식의 조합일 경우 조각체가 되며, 이는 조합적 세기 가능성을 제공한다.
• 각 층의 뉴런 수에서 유도된 이항계수를 사용해 선형 영역 수에 대한 재귀적 상한을 유도한다.

실험 결과

연구 질문

• RQ1 트로픽 기하학은 깊은 ReLU 신경망의 조각별 선형 구조를 어떻게 모델링하고 분석할 수 있는가?
• RQ2 깊은 ReLU 네트워크가 형성할 수 있는 최대 선형 영역 수는 얼마이며, 이는 아키텍처에 어떻게 의존하는가?
• RQ3 조각체와 민코프스키 합의 조합적 성질은 깊은 네트워크의 표현 능력과 어떻게 관련되는가?
• RQ4 트로픽 대수와 다면체 기하학을 사용해 깊은 네트워크의 선형 영역 수를 경계로 설정할 수 있는가?
• RQ5 뉴턴 다면체와 그 정점은 신경망의 조각별 선형 함수 복잡성 특성화에 어떤 역할을 하는가?

주요 결과

• 입력 차원 $ d $ 에 대해 $ n_l $ 개의 뉴런을 가진 단일 ReLU 층의 선형 영역 수는 $ \binom{n_l}{0} + \binom{n_l}{1} + \binom{n_l}{2} + \binom{n_l}{3} + \binom{n_l}{d} $ 로 경계된다. 이때 $ n_l \to d $ 라고 가정한다.
• 총 $ L $ 개의 층을 가진 깊은 네트워크의 경우, 전체 선형 영역 수는 층 간 이항계수의 곱으로 경계된다: $ \tilde{\nu}_c(\nu) \triangleq \tilde{\nu}_c(\nu^{(1)}) \times \tilde{\nu}_c(\nu^{(2)}) \times \tilde{\nu}_c(\nu^{(3)}) \times \tilde{\nu}_c(\nu^{(4)}) \times \tilde{\nu}_c(\nu^{(5)}) $, 여기서 각 $ \tilde{\nu}_c(\nu^{(l)}) \triangleq \tilde{\nu}_c(\nu^{(l-1)}) \times \binom{n_l}{0} + \binom{n_l}{1} + \binom{n_l}{2} + \binom{n_l}{3} + \binom{n_l}{d} $ 이다.
• ReLU 층으로 구성된 트로픽 유리 사상의 뉴턴 다면체는 조각체이며, 이는 사상 내 단항식에 해당하는 선분의 민코프스키 합이다.
• 트로픽 유리 사상의 볼록 차수는 그 뉴턴 다면체의 정점 수와 같으며, 이는 네트워크의 선형 영역 수에 해당한다.
• 네트워크가 일반 위치에 있고 모든 뉴런이 열악하지 않은 방식으로 활성화될 경우, 선형 영역 수에 대한 경계는 날카롭게 유지된다.
• 선형 영역 수에 대한 재귀적 경계는 각 층의 복잡성이 이전 층의 복잡성을 곱하는 트로픽 사상의 복합을 통해 도출된다.