[논문 리뷰] Why Are Convolutional Nets More Sample-Efficient than Fully-Connected Nets?

Zhiyuan Li, Yi Zhang외 1명|arXiv (Cornell University)|2020. 10. 16.

Machine Learning and Algorithms참고 문헌 14인용 수 22

한 줄 요약

이 논문은 이미지 작업에서 완전히 연결된(fully-connected, FC) 네트워크보다 컨볼루션 신경망(ConvNets)이 더 잘 일반화되는 이유에 대해 엄밀한 이론적 설명을 제공한다. FC 네트워크가 표준 기반 경사 하강법으로 학습할 경우 일반화를 위해 Ω(d²) 개의 샘플이 필요하지만, ConvNets는 오р토곤럴 등변성(orthogonal equivariance)을 가지는 학습 알고리즘(예: SGD) 덕분에 O(1) 개의 샘플로도 일반화를 달성한다. 주요 기여는 인덕티브 바이어스와 최적화 역학의 상호작용에 기반한 증명 가능한 샘플 복잡도 격차이다.

ABSTRACT

Convolutional neural networks often dominate fully-connected counterparts in generalization performance, especially on image classification tasks. This is often explained in terms of 'better inductive bias'. However, this has not been made mathematically rigorous, and the hurdle is that the fully connected net can always simulate the convolutional net (for a fixed task). Thus the training algorithm plays a role. The current work describes a natural task on which a provable sample complexity gap can be shown, for standard training algorithms. We construct a single natural distribution on $\mathbb{R}^d imes\{\pm 1\}$ on which any orthogonal-invariant algorithm (i.e. fully-connected networks trained with most gradient-based methods from gaussian initialization) requires $Ω(d^2)$ samples to generalize while $O(1)$ samples suffice for convolutional architectures. Furthermore, we demonstrate a single target function, learning which on all possible distributions leads to an $O(1)$ vs $Ω(d^2/\varepsilon)$ gap. The proof relies on the fact that SGD on fully-connected network is orthogonal equivariant. Similar results are achieved for $\ell_2$ regression and adaptive training algorithms, e.g. Adam and AdaGrad, which are only permutation equivariant.

연구 동기 및 목표

• 완전히 연결된 네트워크와 비교해 ConvNets가 일반화에서 우월한 경향을 수학적으로 정당화하는 것, 특히 자료가 제한된 상황에서의 성능을 다루기 위함.
• FC와 ConvNets 간의 샘플 복잡도 격차가 증명 가능하게 큰 특정 학습 과제를 특정화하는 것.
• 이 격차가 아키텍처의 표현 능력 때문만은 아니며, 아키텍처와 학습 알고리즘 역학의 상호작용 때문임을 보여주는 것.
• 표준 학습 알고리즘이 FC 네트워크에서 오르토곤럴 등변성에 의해 제약을 받는다는 것을 수학적으로 증명함으로써 인덕티브 바이어스의 역할을 정형화하는 것.
• SGD를 넘어서 아달라인(AdaGrad) 및 아담(Adam)과 같은 적응형 알고리즘과 ℓ2 회귀 문제까지 분석을 확장하는 것.

제안 방법

• ℝ^d × {±1}에서 정의된 단일 자연스러운 데이터 분포를 구성하며, 레이블은 ∑αixi² 형태의 이차형식에 기반한다. 여기서 αi ∈ ℝ이다.
• 모든 오르토곤럴 불변 학습 알고리즘(예: 가우시안 초기화를 사용한 SGD)은 오르토곤럴 변환에 대해 불변이므로, FC 네트워크의 경우 일반화를 위해 반드시 Ω(d²) 개의 샘플이 필요하다는 것을 증명한다.
• 직교군 O(d)와 그 탄성 공간(비대칭 행렬)에 대한 패킹 주장(packing argument)을 활용하여 가설 클래스 내에서 구별 가능한 함수의 수를 한정한다.
• 오르토곤럴 등변성(orthogonal equivariance) 개념을 적용한다: 데이터가 직교 행렬을 통해 회전되면, 네트워크의 예측은 변화하지 않으며, 이는 일반화 능력을 제한한다.
• 직접 결합 주장(direct coupling argument)을 통해 순열 등변성(permutation-equivariant) 알고리즘(예: Adam, AdaGrad)의 경우에도 Ω(d)의 샘플 복잡도 하한선을 도출한다.
• 동일한 과제에서 2층 ConvNets가 O(1) 또는 O(d log(1/ε))의 샘플 복잡도를 달성함을 보여, 증명 가능한 일반화 우월성을 입증한다.

실험 결과

연구 질문

• RQ1 표준 학습 알고리즘 하에서 완전히 연결된 네트워크와 컨볼루션 신경망 간에 증명 가능한 샘플 복잡도 격차를 확립할 수 있는가?
• RQ2 ConvNets의 일반화 우월성은 아키텍처의 인덕티브 바이어스 때문이 아니라, 최적화 역학과의 상호작용 때문인가?
• RQ3 SGD 및 관련 알고리즘의 오르토곤럴 등변성 특성을 활용해 FC 네트워크의 샘플 복잡도 하한선을 유도할 수 있는가?
• RQ4 이러한 샘플 복잡도 격차는 아담(Adam) 및 아달라인(AdaGrad)과 같은 적응형 알고리즘을 포함해 다양한 학습 알고리즘에 대해 안정적인가?
• RQ5 이러한 분리 효과는 이진 분류 외에도 ℓ2 회귀 문제에 대해서도 동일하게 성립하는가?

주요 결과

• 레이블이 ∑αixi²에 기반한 단일 자연스러운 분포에서, 모든 오르토곤럴 불변 알고리즘은 일반화를 위해 Ω(d²) 개의 샘플이 필요하지만, 2층 ConvNets는 오직 O(1) 개의 샘플로도 충분하다.
• SGD, Adam, AdaGrad, 또는 ℓ2 정규화된 SGD로 학습하는 FC 네트워크의 경우, 오르토곤럴 등변성으로 인해 샘플 복잡도가 Ω(d²)에 이르게 된다.
• ℓ2 회귀 문제에서는 오르토곤럴 등변성 알고리즘의 샘플 복잡도가 Ω(d(d+3)/2(1−ε)−1)이지만, ConvNets는 O(d)의 샘플 복잡도를 달성한다.
• 직접 결합 주장에 의해, 순열 등변성 알고리즘은 1D 이미지에서 국소 패턴을 탐지하기 위해 Ω(d) 개의 샘플이 필요하지만, ConvNets는 오직 O(log(1/δ)) 개의 샘플로도 충분하다.
• 결과적으로 ConvNets의 인덕티브 바이어스는 정성적 수준을 넘어서 정량적으로 증명 가능하다: FC 네트워크가 차원에 비례해 제곱 수준의 샘플이 필요한 반면, ConvNets는 일정한 샘플 수로도 일반화가 가능하다는 점을 입증한다.
• 논문은 단일 분포 사례에서 더 날카운 Ω(d²/ε) 하한선을 증명할 수 있을지 여부는 여전히 열려 있는 문제로 남겨두며, 향후 연구의 잠재적 방향성을 제안한다.