[논문 리뷰] Sharp bounds for the number of regions of maxout networks and vertices of Minkowski sums

Guido Montúfar, Yue Ren외 1명|arXiv (Cornell University)|2021. 04. 16.

Polynomial and algebraic computation참고 문헌 52인용 수 4

한 줄 요약

이 논문은 맥스아웃 신경망의 선형 영역 수에 대한 날카운 상계를 도출하기 위해 멕스위치 합의 다면체 꼭짓점과 토폴로지적 초곡면 배열을 연결함으로써 수행한다. 조합 기하학과 토폴로지 대수 방법을 사용하여 얕은 및 깊은 맥스아웃 네트워크에 대해 정확한 공식과 날카운 경계를 유도하며, 이는 이전 추정치를 크게 향상시키고 초평면 배열 및 다면체 이론과의 연결고리를 드러낸다.

ABSTRACT

We present results on the number of linear regions of the functions that can be represented by artificial feedforward neural networks with maxout units. A rank-k maxout unit is a function computing the maximum of $k$ linear functions. For networks with a single layer of maxout units, the linear regions correspond to the upper vertices of a Minkowski sum of polytopes. We obtain face counting formulas in terms of the intersection posets of tropical hypersurfaces or the number of upper faces of partial Minkowski sums, along with explicit sharp upper bounds for the number of regions for any input dimension, any number of units, and any ranks, in the cases with and without biases. Based on these results we also obtain asymptotically sharp upper bounds for networks with multiple layers.

연구 동기 및 목표

• 임의의 입력 차원, 단위 수, 랭크를 가진 얕은 맥스아웃 네트워크에서 선형 영역의 최대 수를 결정하기 위해.
• 편향 유무에 관계없이 맥스아웃 네트워크의 영역 수에 대한 명시적 상계를 도출하기 위해.
• 맥스아웃 네트워크 영역과 다면체 멕스위치 합의 상단 꼭짓점 사이의 관계를 설정하기 위해.
• 층간 경계를 점점 더 조합하여 깊은 맥스아웃 네트워크로 이러한 경계를 확장하기 위해.
• 교차 포지셋과 부분 배열을 기반으로 한 맥스아웃 배열의 면 수를 세는 공식을 개발하기 위해.

제안 방법

• 기하학적 대응(정리 2.7)을 통해 맥스아웃 네트워크의 선형 영역을 다면체 멕스위치 합의 상단 꼭짓점으로 매핑하기.
• 토대 기하학을 사용하여 맥스아웃 유닛의 비선형 영역을 토폴로지 초곡면으로 모델링하기.
• 교차 포지셋에 대한 포함-배제 원리를 적용하여 배열의 영역 수를 세기.
• 일반 위치에 있는 부분 배열과 멕스위치 부분합을 통해 면 수 세는 공식 유도하기.
• 맥스위치 합에 대한 상한 정리(upper bound theorem)를 활용하여 꼭짓점과 상단 꼭짓점 수를 제한하기.
• 층별 경계를 점점 더 조합하여 얕은 네트워크에서 깊은 네트워크로 결과를 확장하기.

실험 결과

연구 질문

• RQ1 주어진 아키텍처를 가진 얕은 맥스아웃 네트워크는 최대 몇 개의 선형 영역을 표현할 수 있는가?
• RQ2 편향은 맥스아웃 네트워크의 선형 영역 수에 어떤 영향을 미치며, 두 경우 모두 날카운 경계를 도출할 수 있는가?
• RQ3 맥스아웃 배열의 영역 수와 다면체 멕스위치 합의 상단 꼭짓점 수 사이의 관계는 무엇인가?
• RQ4 얕은 네트워크 결과를 바탕으로 깊은 맥스아웃 네트워크에 대해 날카운 점근적 경계를 설정할 수 있는가?
• RQ5 모든 차원의 면 수에 대한 명시적 공식은 무엇인가?

주요 결과

• 논문은 임의의 입력 차원, 단위 수, 랭크를 가진 얕은 맥스아웃 네트워크에서 선형 영역 수에 대한 날카운 상계를 제공하며, 편향 유무에 관계없이 적용 가능하다.
• 얕은 맥스아웃 네트워크의 경우, 영역 수는 부분집합에 대한 합으로 제한되며, 부분 배열과 그 일반적 형태 간의 영역 수 차이를 포함한다.
• 맥스아웃 레이어에서의 최대 영역 수는 해당 다면체의 멕스위치 합의 상단 꼭짓점 수와 정확히 일치한다.
• 깊은 맥스아웃 네트워크에 대해 경계는 점근적으로 날카롭며, 이는 이전 추정치를 크게 향상시킨다.
• 일반 위치에서 멕스위치 합의 엄격한 하단 꼭짓점 수(한정된 영역에 해당)에 대한 하한이 유도된다.
• 결과는 맥스아웃 네트워크의 조합론과 토폴로지 초곡면 배열, 다면체 멕스위치 합 이론 간의 정확한 연결고리를 확립한다.