[논문 리뷰] The Upper Bound on Knots in Neural Networks

Kai Chen|arXiv (Cornell University)|2016. 11. 29.

Neural Networks and Applications참고 문헌 6인용 수 10

한 줄 요약

이 논문은 ℝ에서 ℝᵖ로 사상하는 깊이 있는 완전 연결 ReLU 신경망의 1차 도함수의 불연속점(이중점, knot) 수에 대한 정확하고 날카로운 상한을 유도한다. 이러한 네트워크를 多변량 선형 스퍼린(스플라인)으로 모델링함으로써, 최대 이중점 수가 모든 은닉층의 너비 곱에 비례하여 증가함을 증명하고, 온건한 너비 제약 조건 하에서 이 상한이 달성 가능하다는 것을 보여주며, 단일 입력 네트워크의 표현력에 대한 이론적 한계를 제공한다.

ABSTRACT

Neural networks with rectified linear unit activations are essentially multivariate linear splines. As such, one of many ways to measure the "complexity" or "expressivity" of a neural network is to count the number of knots in the spline model. We study the number of knots in fully-connected feedforward neural networks with rectified linear unit activation functions. We intentionally keep the neural networks very simple, so as to make theoretical analyses more approachable. An induction on the number of layers $l$ reveals a tight upper bound on the number of knots in $\mathbb{R} o \mathbb{R}^p$ deep neural networks. With $n_i \gg 1$ neurons in layer $i = 1, \dots, l$, the upper bound is approximately $n_1 \dots n_l$. We then show that the exact upper bound is tight, and we demonstrate the upper bound with an example. The purpose of these analyses is to pave a path for understanding the behavior of general $\mathbb{R}^q o \mathbb{R}^p$ neural networks.

연구 동기 및 목표

• 깊이 있는 ReLU 네트워크의 이중점 수(꼬임점)에 대한 정확한 이론적 상한을 설정함으로써, 모델 복잡도와 표현력을 측정하는 데 기여한다.
• 이 상한이 날카로운 조건을 분석하여, 주어진 작업에 대해 네트워크 용량을 사전 평가할 수 있도록 한다.
• 다중 입력 공간 ℝ^q→ℝ^p로의 결과 확장을 위한 기초 프레임워크를 제공한다. 이는 여전히 분석적으로 도전적인 분야이다.
• 표현력에 대한 이론적 '벽'으로서의 역할을 하여, 네트워크 아키텍처 설계에 있어 가능한 최대 조각별 선형 복잡도를 식별한다.

제안 방법

• ℝ→ℝᵖ 공간에서의 연속적이고 조각별 선형 함수(선형 스퍼린)로 완전 연결 ReLU 네트워크를 모델링하며, 이중점은 출력의 비가속성 지점에 해당한다.
• 층 수 𝑙 에 대한 귀납법을 사용하여 이중점 수에 대한 정확한 상한을 도출하며, 이를 𝑚_𝑙 ≤ ∑_{𝑖=1}^{𝑙} 𝑛_𝑖 ∏_{𝑗=𝑖+1}^{𝑙} (𝑛_𝑗 + 1) 로 표현한다.
• 모든 층에서 앞방향으로만 작용하는 ReLU 유닛을 사용하도록 네트워크를 표준화함으로써, 층 간 이중점 생성 분석을 단순화한다.
• 각 은닉층 𝑖 (마지막 제외)가 𝑛_𝑖 ≥ 3 개 이상의 뉴런을 가지며 마지막 은닉층이 𝑛_𝑙 ≥ 2 개 이상일 경우, 이론적 최대 이중점 수를 달성하는 네트워크 구성 예를 명시적으로 제시함으로써 상한의 날카로움을 입증한다.
• 세 은닉층을 가진 구체적 예시를 통해 상한을 검증하며, 각 층이 물결무늬 유사 활성화 패tern을 통해 이중점 수를 최대화하는 방식을 보여준다.
• 출력 층을 사용하여 조각별 선형 출력을 조합하지만, 이중점 수에 영향을 주지 않음으로써 마지막 은닉층의 총 이중점 수를 유지한다.

실험 결과

연구 질문

• RQ1 깊이와 너비가 주어졌을 때, 깊이 있는 ReLU 네트워크가 가질 수 있는 정확한 최대 이중점 수는 얼마인가?
• RQ2 이 상한이 날카로운 조건은 무엇이며, 실질적으로 달성 가능한가?
• RQ3 단일 입력, 다중 출력 ReLU 네트워크에서 이중점 수는 깊이와 너비가 증가함에 따라 어떻게 증가하는가?
• RQ4 이론적 상한이 주어진 함수 근사 과제에 대해 네트워크가 충분히 복잡한지 판단하기 위한 설계 제약 조건으로 사용될 수 있는가?
• RQ5 최대 이중점 수를 달성하기 위해 필요한 네트워크의 구조적 특성(예: 가중치, 편향)은 무엇인가?

주요 결과

• 𝑙층 ReLU 네트워크의 이중점 수 상한은 정확히 𝑚_𝑙 ≤ ∑_{𝑖=1}^{𝑙} 𝑛_𝑖 ∏_{𝑗=𝑖+1}^{𝑙} (𝑛_𝑗 + 1) 으로 주어지며, 넓은 너비에서는 𝑛₁⋯𝑛_𝑙 와 근사한다.
• 각 은닉층 𝑖 (마지막 제외)가 𝑛_𝑖 ≥ 3 이상, 마지막 은닉층이 𝑛_𝑙 ≥ 2 이상일 경우 상한이 날카로운 것으로 확인된다.
• 세 은닉층(𝑛₁=3, 𝑛₂=4, 𝑛₃=2)을 가진 구성 예시에서 정확히 83개의 이중점이 달성되어 이론적 상한을 확인한다.
• 이중점 수는 층 너비에 따라 곱의 형태로 증가하므로, 심지어 단일 입력 케이스에서도 깊이에 따라 지수적 표현력 증가를 나타낸다.
• 상한은 ReLU 활성화와 완전 연결 아키텍처를 전제로 하며, 전체 출력에 대해 적용되며, 각 출력 차원 별로 나누어지지 않는다.
• 결과적으로 ℝ→ℝ^𝑝 네트워크의 표현력에 대한 이론적 상한선을 확립하였으며, 이는 복잡한 과제에 대해 너무 얕거나 얕은 아키텍처를 배제하는 데 사용될 수 있다.