[논문 리뷰] Deep, Skinny Neural Networks are not Universal Approximators

Jesse Johnson|arXiv (Cornell University)|2018. 09. 30.

Neural Networks and Applications인용 수 6

한 줄 요약

이 논문은 모든 은닉층의 너비가 입력 차원 수 이하로 제한되는 깊고 얇은 신경망이 입력 공간 내에서 경계가 있는 수준 집합을 가진 함수를 근사할 수 없다는 것을 증명한다. 위상수학적 추론을 통해 이러한 네트워크는 깊이에 관계없이 항상 경계가 없는 수준 집합을 가진 함수에 국한되며, 이는 원형 결정 경계와 같이 구조적으로 밀도 있는 데이터를 모델링하는 데 능력을 제한한다.

ABSTRACT

In order to choose a neural network architecture that will be effective for a particular modeling problem, one must understand the limitations imposed by each of the potential options. These limitations are typically described in terms of information theoretic bounds, or by comparing the relative complexity needed to approximate example functions between different architectures. In this paper, we examine the topological constraints that the architecture of a neural network imposes on the level sets of all the functions that it is able to approximate. This approach is novel for both the nature of the limitations and the fact that they are independent of network depth for a broad family of activation functions.

연구 동기 및 목표

• 깊고 얇은 신경망 아키텍처가 근사할 수 있는 함수에 대해 그들이 초래하는 기본적인 위상수학적 제약을 규명하는 것.
• 원형 또는 국소적으로 지원되는 클러스터와 같이 경계가 둘러싸인 결정 경계가 필요한 데이터 구조를 다룰 때 이러한 네트워크가 어려움을 겪는 이유를 이해하는 것.
• 깊이만으로는 특정 유형의 함수를 근사하는 데 있어 너비 제약을 극복할 수 없음을 보여주어, 깊은 네트워크의 보편 근사 능력에 대한 기존의 가정을 도전하는 것.
• 기존의 복잡도나 노름 기반 경계와는 독립적인, 새로운 위상수학적 프레임워크를 도입하여 신경망의 표현 능력을 분석하는 것.

제안 방법

• 깊고 완전히 연결된 순환 신경망에서 은닉층의 너비가 제한된 경우 입력 공간 내에서 근사되는 함수의 수준 집합의 위상적 구조를 분석한다.
• 집합 이론적 위상수학을 적용하여 이러한 네트워크로 근사되는 함수는 반드시 경계가 없는 수준 성분을 가져야 한다는 것을 증명한다.
• 일对일 함수로 균일하게 근사 가능한 연속 활성화 함수에 기반한 극한 추론을 사용하여 위상적 불변성을 확립한다.
• 모순 기반 증명을 활용: 경계가 있는 수준 집합이 존재한다고 가정하면, 컴acts한 이웃 영역에 포함될 수 없는 경로가 발생하여 근사 성질을 위반한다.
• 2차원 합성 데이터셋(중앙에 클러스터와 둘레에 고리)을 사용하여 Tensorflow 신경망 플레이그라운드에서 이론적 결과를 검증한다.
• 깊고 얇은 네트워크(비유적 경계)와 얕고 넓은 네트워크(경계가 둥근 고리)의 결정 경계를 비교하여 위상적 제약을 경험적으로 입증한다.

실험 결과

연구 질문

• RQ1 입력 차원 수 이하로 은닉층 너비가 제한된 깊고 얇은 신경망이 컴acts 도메인 상의 임의의 연속 함수를 근사할 수 있는가?
• RQ2 이러한 아키텍처가 근사할 수 있는 함수의 수준 집합에 대해 어떤 위상수학적 제약를 초래하는가?
• RQ3 이 제약는 깊이 때문이냐 너비 때문이냐. 깊이를 늘여서만 너비 제약을 극복할 수 있는가?
• RQ4 이러한 위상수학적 제약는 신경망 근사 이론에서 기존의 복잡도 기반 경계와 어떻게 비교되는가?
• RQ5 이러한 제약가 깊은 네트워크가 특정 구조적 특성을 가진 데이터에서 경험적으로 성공하는 데 기여하는 정도는 어느 정도인가?

주요 결과

• 은닉층 너비가 입력 차원 수 이하로 제한된 깊고 얇은 신경망은 입력 공간 내에서 경계가 있는 수준 집합을 가진 함수를 근사할 수 없다.
• 주요 결과는 네트워크의 깊이와는 독립적으로 성립하므로, 깊이가 얼마나 되든 간에 좁은 층을 가진 네트워크는 위상적으로 제약을 받는다.
• 이러한 네트워크로 근사되는 임의의 함수는 반드시 경계가 없는 수준 집합을 가져야 하며, 즉 수준 성분이 무한히 연장되어야 한다.
• 실험 결과에 따르면 깊고 얇은 네트워크(예: 6개의 2차원 층)는 경계가 없는 결정 경계를 생성하지만, 단일 3차원 은닉층은 경계가 둥근 고리 형태의 경계를 생성할 수 있다.
• 이론적 제약는 깊고 얇은 네트워크가 중심 클러스터를 둘러싸는 고리 형태의 이상적인 경계를 학습하지 못하는 이유를 설명한다.
• 이 결과는 이전 연구보다 더 강력한데, 이는 $L^∞$ 노름의 컴acts 부분집합에 대해 적용되며, 복잡도나 점근적 경계 기반의 노름 기반 경계가 아닌 위상적 불변성을 사용하기 때문이다.