[논문 리뷰] ResNet with one-neuron hidden layers is a Universal Approximator

Hongzhou Lin, Stefanie Jegelka|arXiv (Cornell University)|2018. 06. 28.

Model Reduction and Neural Networks참고 문헌 10인용 수 97

한 줄 요약

이 논문은 한 개의 뉴런 은닉층과 ReLU 활성화를 갖는 매우 깊은 ResNet이 R^d에서 Lebesgue 적분 가능 함수들을 균일하게 근사할 수 있음을 보이며, 좁은 ResNet의 보편 근사 능력을 보여준다.

ABSTRACT

We demonstrate that a very deep ResNet with stacked modules with one neuron per hidden layer and ReLU activation functions can uniformly approximate any Lebesgue integrable function in $d$ dimensions, i.e. $\ell_1(\mathbb{R}^d)$. Because of the identity mapping inherent to ResNets, our network has alternating layers of dimension one and $d$. This stands in sharp contrast to fully connected networks, which are not universal approximators if their width is the input dimension $d$ [Lu et al, 2017; Hanin and Sellke, 2017]. Hence, our result implies an increase in representational power for narrow deep networks by the ResNet architecture.

연구 동기 및 목표

• 극단적인 너비 제약을 가진 ResNet 구조의 표현력(표현 가능성)을 조사한다.
• 하나의 뉴런 은닉층을 갖는 깊이가 보편 근사 능력을 부여한다는 것을 보인다.
• 보편 근사 한계 측면에서 좁은 ResNet과 완전 연결 신경망을 비교한다.

제안 방법

• 하나의 은닉 뉴런과 항등 스킵 연결을 갖는 기본 잔차 블록을 정의한다.
• 유한 격자에서 증가하는 사다리꼴 함수(격자 지시자 함수)를 구축하는 연속 근사 스킴을 구성한다.
• 기본 블록들이 시프트, 상수로의 최소/최대, 및 선형 변환과의 최소/최대를 구현하여 조각상수 근사를 구축한다.
• 일차 구성은 귀납법과 격자 셀 분해를 통해 고차원으로 확장한다.
• 구성된 ResNet이 임의의 부분상수 함수, 따라서 l1(R^d)의 임의의 f를 밀도성에 의해 근사할 수 있음을 보인다.

실험 결과

연구 질문

• RQ1 하나의 은닉 뉴런을 갖는 ResNet이 R^d에서 모든 Lebesgue-적분 가능한 함수에 대해 보편 근사를 달성할 수 있는가?
• RQ2 입력 차원과 같은 너비 제약 하에서 항등 매핑을 갖는 ResNet 구조는 표현력에 어떤 영향을 미치는가?
• RQ3 부분상수 근사를 가능하게 하는 단일 하나의 뉴런 잔차 블록으로 구현 가능한 빌딩 블록과 연산은 무엇인가?
• RQ4 일차 구성은 어떻게 고차원으로 확장되어 다차원 보편 근사를 달성할 수 있는가?

주요 결과

• 하나의 은닉 뉴런 블록과 ReLU 활성화를 갖는 ResNet은 l1(R^d)의 임의의 f를 아무리 높은 정확도로 근사할 수 있다.
• 구성은 순차적 사다리꼴 함수 근사와 유한 격자에서의 격자 지시자 함수를 사용한다.
• 기본 잔차 블록은 시프트, 상수와의 최소/최대, 선형 변환과의 최소/최대를 구현하여 복잡한 함수 형상을 가능하게 한다.
• 치수에 대한 귀납은 일차 사다리꼴 구축 기법을 고차원으로 확장한다.
• 근사를 위해 필요한 격자 셀의 수에 따라 은닉 유닛/레이어의 수가 비례적으로 증가하며, 한 레이어당 더 많은 유닛이 허용될 경우 병렬화 가능성이 있다.