[논문 리뷰] Nearly-tight bounds on linear regions of piecewise linear neural networks

Qiang Hu, Hao Zhang|arXiv (Cornell University)|2018. 10. 31.

Advanced Memory and Neural Computing참고 문헌 14인용 수 4

한 줄 요약

이 논문은 조각별 선형 신경망(PLNN)의 선형 영역 수에 대해 거의 날카로운 분석적 경계를 제공하며, 단일층 PLNN의 경우 정확한 최대 선형 영역 수를 도출하고, 깊은 ReLU 네트워크의 경우 더 날카로운 상한과 하한을 제시한다. 깊이와 비선형성은 표현력을 크게 향상시키며, 입력 차원이 고정된 조건에서 경계가 깊이에 따라 지수적으로, 뉴런 수와 활성화 조각 수에 따라 다항식적으로 증가함을 보여준다.

ABSTRACT

The developments of deep neural networks (DNN) in recent years have ushered a brand new era of artificial intelligence. DNNs are proved to be excellent in solving very complex problems, e.g., visual recognition and text understanding, to the extent of competing with or even surpassing people. Despite inspiring and encouraging success of DNNs, thorough theoretical analyses still lack to unravel the mystery of their magics. The design of DNN structure is dominated by empirical results in terms of network depth, number of neurons and activations. A few of remarkable works published recently in an attempt to interpret DNNs have established the first glimpses of their internal mechanisms. Nevertheless, research on exploring how DNNs operate is still at the initial stage with plenty of room for refinement. In this paper, we extend precedent research on neural networks with piecewise linear activations (PLNN) concerning linear regions bounds. We present (i) the exact maximal number of linear regions for single layer PLNNs; (ii) a upper bound for multi-layer PLNNs; and (iii) a tighter upper bound for the maximal number of liner regions on rectifier networks. The derived bounds also indirectly explain why deep models are more powerful than shallow counterparts, and how non-linearity of activation functions impacts on expressiveness of networks.

연구 동기 및 목표

• 단일층 조각별 선형 신경망(PLNN)의 선형 영역 수에 대한 정확한 최대 경계를 설정하는 것.
• 깊은 PLNN의 선형 영역 수에 대한 상한을 도출하여 깊이에 따라 지수적으로 증가함을 보이는 것.
• 활성화 패턴의 기하적 제약 조건을 활용하여 ReLU 네트워크의 선형 영역 수에 대한 기존 상한과 하한을 더욱 날카롭게 하는 것.
• 네트워크의 깊이와 활성화 함수의 비선형성이 깊은 PLNN의 표현력에 어떻게 동시에 영향을 미치는지 분석하는 것.

제안 방법

• 은닉 뉴런 수와 활성화 조각 수에 기반하여 단일층 PLNN의 최대 선형 영역 수에 대한 정확한 渐近 표현식을 유도한다.
• 층의 차원과 활성 그룹 간의 재귀적 관계를 사용하여 활성화 패턴이 깊은 네트워크를 통해 어떻게 전파되는지 모델링한다.
• 최종 층의 활성화 패턴 수를 계산하기 위해 하이퍼플레인 배열에 관한 Zaslavsky의 정리를 적용한다.
• 선형 영역의 기하적 특성과 활성화 패턴(예: 모든 뉴런 비활성 상태)에 기반한 제약 조건을 도입하여 경계를 정밀화한다.
• 은닉 층의 구성 요소를 그룹당 뉴런 수에 따라 분류하고, 이항계수 및 거듭제곱 항을 사용하여 영역 수를 계산한다.
• 나머지 값에 따라 뉴런 분포를 구분하는 경우에 따라 재귀적 공식을 제안하여 하한을 도출한다(예: r_rem^l).

실험 결과

연구 질문

• RQ1 주어진 뉴런 수와 활성화 조각 수를 가진 단일층 PLNN이 달성할 수 있는 정확한 최대 선형 영역 수는 얼마인가?
• RQ2 깊은 PLNN에서 선형 영역 수는 깊이에 따라 어떻게 변화하며, 가능한 가장 날카로운 상한은 무엇인가?
• RQ3 활성화 패턴 제약 조건을 고려할 때, ReLU 네트워크의 선형 영역 수에 대한 향상된 상한과 하한은 무엇인가?
• RQ4 선형 영역의 기하적 특성과 비활성 뉴런 패턴은 깊은 PLNN의 표현력에 어떻게 영향을 미치는가?
• RQ5 활성화 함수의 비선형성과 네트워크의 깊이가 함께 모델의 복잡한 함수를 표현할 수 있는 능력에 얼마나 기여하는가?

주요 결과

• 입력 차원이 고정된 조건에서, 단일층 PLNN의 정확한 최대 선형 영역 수는 은닉 뉴런 수와 활성화 조각 수에 대해 渐近적으로 다항식적으로 증가한다.
• 깊은 PLNN의 선형 영역 수에 대한 상한은 깊이에 따라 지수적으로 증가함을 보여주며, 이는 더 깊은 네트워크가 얕은 네트워크보다 훨씬 더 표현력이 뛰어남을 시사한다.
• ReLU 네트워크의 경우, 유도된 상한과 하한은 이전 결과보다 크게 날카로워졌으며, 특정 조건 하에서 상한이 하한에 渐近적으로 수렴함을 보였다.
• 다음 층의 차원은 이전 층의 활성 그룹 수에 의존하며, 이 관계는 이항계수 및 거듭제곱 항을 사용하여 재귀적으로 모델링된다.
• 모든 뉴런이 비활성 상태인 활성화 패턴이 포함될 경우, 다음 층의 차원이 감소할 수 있으며, 이는 재귀적 공식에 명시적으로 반영된다.
• 최종 층의 영역 수는 Zaslavsky의 정리를 사용하여 계산되며, 모든 뉴런이 비활성일 경우 활성화 패턴 수에 대한 이항계수를 도출한다.