[논문 리뷰] Neural Network Architecture Beyond Width and Depth

Zuowei Shen, Haizhao Yang외 1명|arXiv (Cornell University)|2022. 05. 19.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 전통적인 너비와 깊이 외에 새로운 초수인 높이를 추가함으로써, 새로운 3차원 신경망 아키텍처인 NestNet을 소개한다. 하위 네트워크를 활성화 함수로 반복적으로 조합함으로써, NestNet은 뛰어난 근사 능력을 확보한다: O(n)개의 파라미터로 구성된 높이-s NestNet은 [0,1]^d 상의 1-Lipschitz 함수를 O(n^{-(s+1)/d})의 오차로 근사하며, 동일한 파라미터 예산 하에서 표준 ReLU 네트워크가 달성하는 O(n^{-2/d})보다 뛰어나다.

ABSTRACT

This paper proposes a new neural network architecture by introducing an additional dimension called height beyond width and depth. Neural network architectures with height, width, and depth as hyper-parameters are called three-dimensional architectures. It is shown that neural networks with three-dimensional architectures are significantly more expressive than the ones with two-dimensional architectures (those with only width and depth as hyper-parameters), e.g., standard fully connected networks. The new network architecture is constructed recursively via a nested structure, and hence we call a network with the new architecture nested network (NestNet). A NestNet of height $s$ is built with each hidden neuron activated by a NestNet of height $\le s-1$. When $s=1$, a NestNet degenerates to a standard network with a two-dimensional architecture. It is proved by construction that height-$s$ ReLU NestNets with $\mathcal{O}(n)$ parameters can approximate $1$-Lipschitz continuous functions on $[0,1]^d$ with an error $\mathcal{O}(n^{-(s+1)/d})$, while the optimal approximation error of standard ReLU networks with $\mathcal{O}(n)$ parameters is $\mathcal{O}(n^{-2/d})$. Furthermore, such a result is extended to generic continuous functions on $[0,1]^d$ with the approximation error characterized by the modulus of continuity. Finally, we use numerical experimentation to show the advantages of the super-approximation power of ReLU NestNets.

연구 동기 및 목표

• 표준 이차원 신경망(너비와 깊이만 존재)의 이론적·실용적 한계, 즉 근사 속도가 거의 최적에 도달한 상황을 해결하기 위해.
• 표현 능력을 크게 향상시킬 수 있는 새로운 아키텍처 패러다임을 제안하기 위해, 제3의 초수인 높이를 도입하기 위해.
• 하위 네트워크를 활성화 함수로 반복적으로 네스팅함으로써, 표준 네트워크를 초월한 초근사 능력을 달성할 수 있음을 보여주기 위해.
• 이론적 이점들을 이미지 분류 작업에 대한 수치 실험을 통해 검증하기 위해.

제안 방법

• 신경망을 높이, 너비, 깊이로 정의하는 3차원 아키텍처를 제안하며, 기존의 이차원 설계를 초월한다.
• 중첩 네트워크(NestNet)를 반복적 아키텍처로 도입: 높이-s NestNet은 높이 ≤ s−1인 하위 네트워크를 그의 뉴런의 활성화 함수로 사용한다.
• ReLU 활성화 함수를 사용하며, 하위 네트워크 간의 파라미터 공유를 가능하게 하는 중첩 조합 방식으로 네트워크를 구성한다.
• 연속 함수의 모듈러스 연속성과 이를 활용해 [0,1]^d 상의 1-Lipschitz 함수 및 일반 연속 함수에 대한 이론적 근사 오차 한계를 유도한다.
• 선택된 ReLU 활성화 함수를 하위 네트워크(높이 2인 NestNet)로 대체한 수정된 CNN 아키텍처(CNN2)를 설계하여, 표준 CNN(CNN1)과의 비교를 가능하게 한다.
• 학습 안정화를 위해 RAdam 옵timizer를 사용하고 학습률 스케줄링, 배치 정규화, 드롭아웃을 적용하며, Fashion-MNIST에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 너비와 깊이 외에 새로운 아키텍처 차원인 높이를 도입함으로써 근사 능력에 상당한 향상이 이루어질 수 있는가?
• RQ2 표준 ReLU 네트워크와 비교해, 높이-s ReLU NestNet의 근사 오차가 파라미터 수에 따라 어떻게 변화하는가?
• RQ3 하위 네트워크를 활성화 함수로 반복적으로 네스팅함으로써, 실용적인 딥러닝 작업에서 더 나은 일반화 및 성능을 달성할 수 있는가?
• RQ4 NestNet의 높이와 주어진 모듈러스 연속성을 가진 연속 함수를 근사하는 능력 사이의 이론적 관계는 무엇인가?

주요 결과

• O(n)개의 파라미터로 구성된 높이-s ReLU NestNet은 [0,1]^d 상의 1-Lipschitz 함수를 O(n^{-(s+1)/d})의 오차로 근사하며, 동일한 파라미터 예산 하에서 표준 ReLU 네트워크가 달성하는 O(n^{-2/d})보다 뚜렷이 뛰어나다.
• 일반적인 연속 함수의 경우, 높이-s NestNet의 근사 오차는 모듈러스 연속성에 의해 기술되며, 높이가 증가할수록 수렴 속도가 향상됨을 보여준다.
• Fashion-MNIST에서의 수치 실험 결과, NestNet 기반 CNN(CNN2)는 평균 0.9260의 테스트 정확도(마지막 100 에포크 기준)를 기록했고, 표준 CNN(CNN1)은 0.9244를 기록했으며, 이는 약간의 더 긴 학습 시간과 10개의 추가 파라미터에도 불구하고 성능 향상을 보였다.
• CNN2의 최고 성능 시도는 92.66%의 테스트 정확도를 기록했고, CNN1의 최고 기록인 92.53%를 초월하여 NestNet 아키텍처의 실용적 이점을 확인했다.
• 이론적 및 실험적 결과를 종합하면, 중첩된 하위 네트워크를 통한 반복적 파라미터 공유 덕분에 NestNet은 초근사 능력을 확보함을 입증했다.