[논문 리뷰] Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks

Kenta Oono, Taiji Suzuki|arXiv (Cornell University)|2019. 03. 24.

Advanced Neural Network Applications인용 수 29

한 줄 요약

이 논문은 너비, 채널 수, 필터 크기가 일정한 ResNet 유형의 합성곱 신경망(CNN)이 헬더 및 바론 클래스와 같은 함수 클래스에서 최소최대 최적의 근사 및 추정 오차율을 달성할 수 있음을 보여준다. 블록 희소 구조를 가진 완전 연결 신경망(FNN)을 활용하여 저자들은 최적의 오차율을 유지하면서 비현실적인 희소성이나 넓은 아키텍처를 요구하지 않는 등가의 ResNet 유형 CNN을 구축한다.

ABSTRACT

Convolutional neural networks (CNNs) have been shown to achieve optimal approximation and estimation error rates (in minimax sense) in several function classes. However, previous analyzed optimal CNNs are unrealistically wide and difficult to obtain via optimization due to sparse constraints in important function classes, including the Hölder class. We show a ResNet-type CNN can attain the minimax optimal error rates in these classes in more plausible situations -- it can be dense, and its width, channel size, and filter size are constant with respect to sample size. The key idea is that we can replicate the learning ability of Fully-connected neural networks (FNNs) by tailored CNNs, as long as the FNNs have extit{block-sparse} structures. Our theory is general in a sense that we can automatically translate any approximation rate achieved by block-sparse FNNs into that by CNNs. As an application, we derive approximation and estimation error rates of the aformentioned type of CNNs for the Barron and Hölder classes with the same strategy.

연구 동기 및 목표

• 비모수 추정을 위한 CNN에서 이론적 최적성과 실용 가능성 사이의 격차를 메우기 위해.
• 헬더 클래스와 같은 함수 클래스에서 최소최대 최적성을 달성하기 위해 이전에 요구되었던 비현실적인 희소성 또는 초광역 CNN의 비현실성 문제를 해결하기 위해.
• 고정된 깊이, 너비, 필터 크기를 가진 ResNet 유형 CNN이 최적의 FNN과 동일한 최소최대 오차율을 달성할 수 있음을 보여주기 위해.
• 블록 희소 FNN에서 유도된 근사율을 등가 CNN으로 일반화하는 프레임워크를 수립하기 위해.
• 핵심 함수 클래스에서 희소성과 넓은 FNN의 최적 추정 오차율을 따라잡을 수 있는 밀집형, 일정 크기의 CNN 아키텍처가 실현 가능함을 보여주기 위해.

제안 방법

• 근사 정확도를 유지하면서 블록 희소 완전 연결 신경망(FNN)에서 ResNet 유형 CNN으로의 매핑을 구축하기 위해.
• ReLU 활성화 함수와 항등(skip) 연결을 가진 잔차 블록을 사용하여 FNN 구성 요소를 모방하면서 고정된 너비와 깊이를 유지하기 위해.
• 이론적 분석을 단순화하기 위해 컨볼루션에 한쪽 모서리 패딩을 적용하였으며, 동일한 패딩으로의 확장도 소수의 수정을 통해 가능함을 보여주었다.
• 마스킹 패턴을 항등 연결에 적용하여 마스킹된 CNN의 매개변수 공간에 대한 커버링 수 제약을 활용하여 일반화 오차를 제어하기 위해.
• 커버링 수와 매개변수 수를 통해 모델 복잡도를 고려한 일반화 경계를 통해 추정 오차율을 유도하기 위해.
• FNN의 블록 수 $M$을 조정하여 근사 오차와 추정 오차 간의 트레이드오���을 최적화함으로써 최소최대 최적성을 달성하기 위해.

실험 결과

연구 질문

• RQ1 고정 너비, 채널 수, 필터 크기를 가진 ResNet 유형 CNN이 최소최대 최적의 근사 및 추정 오차율을 달성할 수 있는가?
• RQ2 FNN의 블록 희소 구조는 최적성을 훼손하지 않고 등가의 밀집형 CNN을 구축하는 데 어떻게 활용될 수 있는가?
• RQ3 블록 희소 FNN의 근사율과 그로 인한 CNN 간의 일반화 성능 간의 관계는 무엇인가?
• RQ4 헬더 및 바론 클래스에 대해 최소최대 최적 오차율은 실용적인 밀집형 CNN 아키텍처로 달성 가능한가?
• RQ5 제안된 CNN 아키텍처에서 풀링 및 배치 정규화(Batch Normalization)의 부재가 이론적 최적성에 영향을 미치는가?

주요 결과

• 고정 너비, 채널 수, 필터 크기를 가진 ResNet 유형 CNN은 $\beta$-헬더 클래스에서 최소최대 최적의 근사 오차율을 달성할 수 있다.
• 제안된 CNN의 추정 오차율은 $\beta$-헬더 클래스의 최소최대 하한선과 일치하며, $\tilde{O}(N^{-2\alpha\gamma_1})$의 비율을 보이며, 여기서 $\alpha = \frac{1}{2\gamma_1 + \gamma_2}$, $\gamma_1 = \frac{\beta}{D}$, $\gamma_2 = 1$이다.
• CNN의 근사 오차는 $O(M^{-\frac{\beta}{D}})$이며, 이는 블록 희소 FNN의 최적 비율과 일치한다.
• CNN 모델 클래스의 커버링 수는 $\mathcal{N}(\varepsilon, \mathcal{G}, \|\cdot\|_\infty) \leq (2B\Lambda_1\varepsilon^{-1})^{\Lambda_2} \cdot 2^{C\tilde{M}L}$로 유계이며, 이는 일반화 경계를 지원한다.
• 이 방법은 $L_0$-노름 희소성 제약 조건이나 조합 최적화를 요구하지 않으면서도 최적 FNN과 동일한 최소최대 추정 오차율을 달성한다.
• 이론적 프레임워크는 FNN이 블록 희소 구조를 가진다면, 어떤 FNN 근사율도 해당하는 CNN 근사율로 자동으로 변환할 수 있도록 한다.