[논문 리뷰] A Tropical Approach to Neural Networks with Piecewise Linear Activations

Vasileios Charisopoulos, Petros Maragos|arXiv (Cornell University)|2018. 05. 22.

Polynomial and algebraic computation참고 문헌 38인용 수 23

한 줄 요약

이 논문은 ReLU 및 maxout과 같은 조각별 선형 활성화를 갖는 신경망에서 선형 영역의 수를 분석하고 경계하는 데 새로운 토폴로지 기하학 프레임워크를 제안한다. 이러한 활성화를 삼각 다항식으로 모델링하고 선형 영역을 뉴턴 다면체의 정점과 연결함으로써, 작고 더 날카운 경계값 min{2m, ∑ⱼ₌₀ⁿ (m choose j)}를 유도하며, 비용이 많이 드는 선형 프로그래밍 문제를 해결하지 않고도 효율적으로 선형 영역 수를 추정하는 랜덤 샘플링 알고리즘을 제안한다.

ABSTRACT

We present a new, unifying approach following some recent developments on the complexity of neural networks with piecewise linear activations. We treat neural network layers with piecewise linear activations as tropical polynomials, which generalize polynomials in the so-called $(\max, +)$ or tropical algebra, with possibly real-valued exponents. Motivated by the discussion in (arXiv:1402.1869), this approach enables us to refine their upper bounds on linear regions of layers with ReLU or leaky ReLU activations to $\min\left\{ 2^m, \sum_{j=0}^n \binom{m}{j} ight\}$, where $n, m$ are the number of inputs and outputs, respectively. Additionally, we recover their upper bounds on maxout layers. Our work follows a novel path, exclusively under the lens of tropical geometry, which is independent of the improvements reported in (arXiv:1611.01491, arXiv:1711.02114). Finally, we present a geometric approach for effective counting of linear regions using random sampling in order to avoid the computational overhead of exact counting approaches

연구 동기 및 목표

• 조각별 선형 신경망의 선형 영역 분석을 토폴로지 대수를 통해 통합하기 위해.
• ReLU 및 리키 레이루 신경망에 대한 기존 상한값을 개선하기 위해.
• 동일한 토폴로지 프레임워크를 사용해 maxout 네트워크로 분석를 확장하기 위해.
• 단일 네트워크 레이어에서 선형 영역 수를 효율적으로 근사하는 계산적으로 효율적인 방법을 개발하기 위해.
• 혼합정수계획법 또는 선형계획법을 통한 정확한 수세기의 기하학적이고 샘플 기반의 대안을 제공하기 위해.

제안 방법

• 실수 지수를 가진 (max, +) 대수에서 조각별 선형 활성화를 갖는 신경망 레이어를 삼각 다항식으로 모델링하기 위해.
• 삼각 다항식과 관련된 뉴턴 다면체의 정점과 선형 영역 사이의 일대일 대응을 설정하기 위해.
• 삼각 다항식과 그 뉴턴 다면체 간의 이중성 관계를 이용해 선형 영역 수의 상한값을 도출하기 위해.
• 랜덤 선형 함수를 샘플링하여 레이어 출력을 나타내는 다면체들의 민코프스키 합의 극단점(정점)을 식별하는 랜덤 알고리즘을 제안하기 위해.
• 볼록 다면체 이론에서 유래한 방법을 적응하여 기능 최소화를 통한 정점 수 계산을 수행하고, 확률적 보장을 제공하기 위해.
• 레이어 출력의 상단 힐만에 해당하는 정점만을 세기 위해, 함수의 첫 번째 성분이 양수인 영역으로 샘플링을 제한하기 위해.

실험 결과

연구 질문

• RQ1 어떻게 토폴로지 기하학을 사용하여 조각별 선형 활성화를 갖는 신경망 레이어의 선형 영역 수를 특성화할 수 있는가?
• RQ2 이 프레임워크를 사용하여 ReLU 및 리키 레이루 신경망에 대한 더 날카운 상한값을 어떻게 도출할 수 있는가?
• RQ3 동일한 접근법을 maxout 네트워크에 적용하여 기존의 알려진 상한값을 재확인할 수 있는가?
• RQ4 계산 비용이 많이 드는 최적화 문제를 해결하지 않고도 실무에서 선형 영역 수를 효율적으로 근사할 수 있는가?
• RQ5 샘플링 기반 알고리즘이 선형 영역 수를 세는 데 대해 어떤 확률적 보장을 제공할 수 있는가?

주요 결과

• ReLU 또는 리키 레이루 신경망 레이어의 선형 영역 수는 min{2m, ∑ⱼ₌₀ⁿ (m choose j)}로 경계되며, 여기서 n과 m은 각각 입력 수와 출력 수이다.
• 제안된 토폴로지 프레임워크는 해당 뉴턴 다면체를 분석함으로써 maxout 네트워크에 대한 기존의 알려진 상한값을 재확인한다.
• 랜덤 샘플링 알고리즘은 혼합정수계획법 또는 선형계획법의 계산 부담을 피하는 실용적인 정확한 수세기 방법의 대안을 제공한다.
• 샘플링 복잡도가 정규 콘의 부피각에 따라 결정되며, Minkowski 합의 모든 정점을 높은 확률로 세는 데 성공할 수 있다.
• 상단 힐만에 대해선, 샘플 수 K가 K ≥ ˜N log(N/δ)를 만족할 경우, 모든 정점이 높은 확률로 세어짐을 보장한다. 여기서 ˜N은 최소 정규 콘 각도에 따라 달라진다.
• 이 방법은 일반적이며 ReLU 네트워크를 초월해, 삼각 다항식으로 표현 가능한 임의의 조각별 선형 활성화 함수에 적용 가능하다.