[논문 리뷰] Theoretical Analysis of Inductive Biases in Deep Convolutional Networks

Zihao Wang, Lei Wu|arXiv (Cornell University)|2023. 05. 15.

Stochastic Gradient Optimization Techniques인용 수 7

한 줄 요약

이 논문은 딥 컨volution 신경망(CNN)의 인덕티브 편향에 대한 이론적 분석을 제공하며, 보편성에 충분한 깊이가 𝒪(log d)임을 보이며, 희박한 함수를 학습하기 위해 단지 𝒪̃(log²d)의 샘플이 필요하다는 것을 보여준다. 이 작업은 가중치 공유와 국소성의 역할을 분리하여, 이러한 인덕티브 편향에 의해 대칭성 파괴가 일어나면서 CNN이 국소 연결망(LCN)과 완전 연결망(FCN)보다 샘플 효율성에서 수개의 주기수로 뛰어나다는 것을 증명한다.

ABSTRACT

In this paper, we provide a theoretical analysis of the inductive biases in convolutional neural networks (CNNs). We start by examining the universality of CNNs, i.e., the ability to approximate any continuous functions. We prove that a depth of $\mathcal{O}(\log d)$ suffices for deep CNNs to achieve this universality, where $d$ in the input dimension. Additionally, we establish that learning sparse functions with CNNs requires only $\widetilde{\mathcal{O}}(\log^2d)$ samples, indicating that deep CNNs can efficiently capture {\em long-range} sparse correlations. These results are made possible through a novel combination of the multichanneling and downsampling when increasing the network depth. We also delve into the distinct roles of weight sharing and locality in CNNs. To this end, we compare the performance of CNNs, locally-connected networks (LCNs), and fully-connected networks (FCNs) on a simple regression task, where LCNs can be viewed as CNNs without weight sharing. On the one hand, we prove that LCNs require $Ω(d)$ samples while CNNs need only $\widetilde{\mathcal{O}}(\log^2d)$ samples, highlighting the critical role of weight sharing. On the other hand, we prove that FCNs require $Ω(d^2)$ samples, whereas LCNs need only $\widetilde{\mathcal{O}}(d)$ samples, underscoring the importance of locality. These provable separations quantify the difference between the two biases, and the major observation behind our proof is that weight sharing and locality break different symmetries in the learning process.

연구 동기 및 목표

• CNN이 표현 능력이 유사한 완전 연결망(FCN)보다 시각 작업에서 더 우수한 이유를 이론적으로 이해하는 것.
• 국소 연결망(LCN)과의 비교를 통해 CNN의 가중치 공유와 국소성의 개별 기여도를 분리하고 정량화하는 것.
• 최소한의 깊이로 딥 CNN의 보편성을 확립하고, 희박한 함수 학습의 샘플 복잡도를 분석하는 것.
• 다중 채널화와 다운샘플링이 장거리 상관관계를 효율적으로 학습하고 로그 단위 깊이 보편성에 필수적임을 보여주는 것.

제안 방법

• 다운샘플링을 통해 수신 영역를 기하급수적으로 확장시키는 방식으로, 다중 채널화와 결합한 새로운 기법을 사용하여 딥 CNN의 보편성을 증명하였다.
• 공간적 감소 과정에서 정보 손실 없이 유지하기 위해 다중 채널화를 활용하여 깊이 진행 동안 정보 유지 보장을 확보하였다.
• CNN, LCN, FCN 간의 비교를 가능하게 하기 위해 합성 회귀 과제를 제안하여, 가중치 공유와 국소성의 영향을 분리할 수 있도록 하였다.
• 집합 학습 이론을 적용하여 샘플 복잡도의 상한을 유도하였으며, 농도 불등식과 매개변수 차이의 프로베니우스 노름 상한을 사용하였다.
• 카우치-슈바르츠 부등식과 가우시안 尾부 부등식을 활용하여 일반화 오차의 하한을 유도하였으며, 매개변수 거리와 함수 거리 간의 연관성을 연결하였다.
• 깊이에 대한 하한을 확립하기 위해, 다운샘플링 없이선 CNN이 보편성을 확보하기 위해 Ω(d)의 깊이가 필요하다는 것을 보여, 다운샘플링의 필수성을 입증하였다.

실험 결과

연구 질문

• RQ1 딥 CNN이 입력 차원 d에 대해 로그 단위 깊이 𝒪(log d)로 보편성을 달성할 수 있으며, 이러한 성능을 가능하게 하는 구조적 구성 요소는 무엇인가?
• RQ2 CNN에서 희박한 함수 학습의 샘플 복잡도는 어떻게 스케일링되며, 이는 거의 최적인가?
• RQ3 딥 네트워크에서 샘플 효율성에 기여하는 가중치 공유와 국소성의 개별 기여도는 각각 얼마인가?
• RQ4 왜 CNN은 장거리 상관관계를 요구하는 학습 과제에서 LCN과 FCN을 능가하는가?
• RQ5 다중 채널화, 다운샘플링, 가중치 공유, 국소성의 상호작용이 일반화 성능 향상과 이론적으로 연결될 수 있는가?

주요 결과

• 딥 CNN의 깊이가 𝒪(log d)이면 연속 함수를 보편적으로 근사할 수 있으며, 이는 이전 연구에서 요구한 Ω(d) 깊이에 비해 상당한 향상이다.
• 다운샘플링 없이선 CNN이 보편성을 확보하기 위해 Ω(d) 깊이가 필요하므로, 다운샘플링이 로그 단위 깊이 보편성에 필수적임을 입증한다.
• CNN을 사용해 희박한 함수를 학습하기 위해 필요한 샘플 수는 𝒪̃(log²d)이며, 이는 정보 이론적 하한인 Ω(log d)과 거의 최적에 가깝다.
• CNN은 총 매개변수 수가 𝒪(k² log d)로만 사용해도 임의의 k-희박 함수를 학습할 수 있으며, 이는 선형 경우에 Ω(d) 매개변수를 요구하는 LASSO에 비해 극적으로 향상된 성능이다.
• LCN은 동일한 과제를 학습하기 위해 Ω(d) 샘플이 필요하지만, CNN은 𝒪̃(log²d) 샘플만으로도 충분하므로, 가중치 공유가 샘플 효율성에 핵심적임을 입증한다.
• FCN은 Ω(d²) 샘플이 필요하지만, LCN은 오직 𝒪̃(d) 샘플만으로도 충분하므로, 작은 필터를 사용하는 국소성(소형 필터)이 샘플 복잡도 감소에 필수적임을 보여준다.