[논문 리뷰] Bounding and Counting Linear Regions of Deep Neural Networks

Thiago Serra, Christian Tjandraatmadja외 1명|arXiv (Cornell University)|2017. 11. 06.

Advanced Neural Network Applications참고 문헌 22인용 수 47

한 줄 요약

이 논문은 딥 ReLU 및 maxout 네트워크에서 선형 영역의 최대 수에 대한 더 날카운 이론적 경계를 제시하고, 훈련된 네트워크에서 이러한 영역을 정확하게 세는 데 위한 혼합정수선형계획법(MILP) 수식을 도입하며, 입력 차원이 뉴런 수를 초과할 경우 얕은 네트워크가 깊은 네트워크보다 영역 수에서 승리할 수 있음을 보여주며, 네트워크의 표현력과 용량에 대한 새로운 통찰을 제공한다.

ABSTRACT

We investigate the complexity of deep neural networks (DNN) that represent piecewise linear (PWL) functions. In particular, we study the number of linear regions, i.e. pieces, that a PWL function represented by a DNN can attain, both theoretically and empirically. We present (i) tighter upper and lower bounds for the maximum number of linear regions on rectifier networks, which are exact for inputs of dimension one; (ii) a first upper bound for multi-layer maxout networks; and (iii) a first method to perform exact enumeration or counting of the number of regions by modeling the DNN with a mixed-integer linear formulation. These bounds come from leveraging the dimension of the space defining each linear region. The results also indicate that a deep rectifier network can only have more linear regions than every shallow counterpart with same number of neurons if that number exceeds the dimension of the input.

연구 동기 및 목표

• 조각별 선형(PWL) 활성화 함수를 갖는 딥 신경망(DNN)에서 선형 영역의 최대 수에 대한 이론적 경계를 향상시키는 것.
• 특히 ReLU 및 maxout 아키텍처에 대해 훈련된 DNN에서 선형 영역을 정확하게 세는 방법의 부족을 해결하는 것.
• 네트워크의 깊이, 폭, 입력 차원, 그리고 그로 인한 선형 영역 수 사이의 관계를 조사하는 것.
• 선형 영역 수가 일반화 성능 및 모델 용량과 상관관계가 있는지 평가하는 것.
• 얕은 네트워크가 깊은 네트워크를 초월할 수 있는 조건을 규명하여, 깊이의 이점에 대한 전통적 가정을 도전하는 것.

제안 방법

• 각 영역을 정의하는 공간의 차원을 분석하여 딥 ReLU 네트워크에서 선형 영역 수에 대한 더 날카운 상한 및 하한 경계를 유도한다.
• ReLU 및 maxout 네트워크의 조각별 선형 행동을 모델링하기 위해 혼합정수선형계획법(MILP) 수식을 도입하여, 선형 영역의 정확한 열거를 가능하게 한다.
• MILP 수식을 사용하여 MNIST 데이터셋에서 두 개의 은닉층에 총 22개의 뉴런을 가진 작은 훈련된 ReLU 네트워크에서 선형 영역 수를 정확하게 세었다.
• MILP 접근법을 사용하여 다층 maxout 네트워크에 대한 첫 번째 상한 경계를 도출하였다.
• 1차원 구성 방법을 사용하여 입력 차원이 1인 경우 정확한 최대 영역 수를 증명하였으며, 이는 이론적 경계의 타당성을 검증한다.
• 고성능 컴퓨터에서 CPLEX를 사용하여 방법을 검증하였으며, 다양한 네트워크 구성에 대해 런타임과 영역 수를 측정하였다.

실험 결과

연구 질문

• RQ1 입력 차원이 1인 경우, 딥 ReLU 네트워크에서 선형 영역 수에 대한 가장 날카운 상한 및 하한 경계는 무엇인가?
• RQ2 훈련된 DNN에서 선형 영역 수를 정확하게 세는 것이 가능할 수 있으며, 이는 이론적 경계의 날카움을 평가하는 데 어떻게 기여하는가?
• RQ3 입력 차원이 뉴런 총 수를 초과할 경우, 얕은 네트워크가 깊은 네트워크보다 더 많은 선형 영역을 달성할 수 있는 조건은 무엇인가?
• RQ4 실제 DNN에서 선형 영역 수가 훈련 및 테스트 성능와 어떻게 상관관계가 있는가?
• RQ5 다층 maxout 네트워크에 대한 첫 번째 이론적 상한 경계는 선형 영역 수로 어떻게 표현되는가?

주요 결과

• 제안된 ReLU 네트워크에 대한 상한 경계는 이전 연구보다 더 날카롭며, 1차원 입력에서 정확한 결과가 확인되었다.
• ReLU 네트워크의 경우, 입력 차원이 뉴런 총 수를 초과할 경우 얕은 아키텍처가 깊은 아키텍처보다 더 많은 선형 영역을 달성할 수 있다.
• 다층 maxout 네트워크에 대한 첫 번째 상한 경계가 유도되었으며, 이는 활성화 함수의 이론적 분석을 이 클래스로 확장한 것이다.
• MILP를 통한 정확한 세기 방법은 실제 훈련된 MNIST 네트워크의 영역 수가 이전 이론적 상한 경계보다 크게 낮다는 것을 드러내었으며, 더 날카운 경계가 필요한 이유를 검증한다.
• 병목 효과가 관찰되었다: 초기 레이어의 폭을 줄이면, 후속 레이어의 깊이와는 무관하게 선형 영역 수가 크게 제한된다.
• 깊이와 영역 수 사이에는 비단조화적인 관계가 있으며, 최적의 깊이는 네트워크 크기에 따라 증가하고 입력 차원에 따라 감소한다. 이는 깊이를 이러한 요소에 따라 조정해야 한다는 것을 시사한다.