[논문 리뷰] Besov Function Approximation and Binary Classification on Low-Dimensional Manifolds Using Convolutional Residual Networks

Hao Liu, Minshuo Chen외 2명|arXiv (Cornell University)|2021. 09. 07.

Computational Physics and Python Applications인용 수 4

한 줄 요약

이 논문은 고차원 공간에 임bed된 저차원 다양체 위에서 베소프 함수를 근사하고 이진 분류를 수행하는 데 있어 컨volutional 잔여 네트워크(ConvResNets)에 대한 이론적 보장을 수립한다. 임베드 차원 $D$가 아닌 내재 차원 $d$를 활용함으로써, 저자들은 ConvResNets가 순위 $n^{-\frac{s}{2s+2(s\vee d)}}$의 초과 위험(excess risk)을 달성함을 증명하며, 샘플 복잡도가 $d$에 의존함을 보여주고, 고차원 데이터에 저차원 구조가 존재할 때 딥러닝의 경험적 성공을 설명한다.

ABSTRACT

Most of existing statistical theories on deep neural networks have sample complexities cursed by the data dimension and therefore cannot well explain the empirical success of deep learning on high-dimensional data. To bridge this gap, we propose to exploit low-dimensional geometric structures of the real world data sets. We establish theoretical guarantees of convolutional residual networks (ConvResNet) in terms of function approximation and statistical estimation for binary classification. Specifically, given the data lying on a $d$-dimensional manifold isometrically embedded in $\mathbb{R}^D$, we prove that if the network architecture is properly chosen, ConvResNets can (1) approximate Besov functions on manifolds with arbitrary accuracy, and (2) learn a classifier by minimizing the empirical logistic risk, which gives an excess risk in the order of $n^{-\frac{s}{2s+2(s\vee d)}}$, where $s$ is a smoothness parameter. This implies that the sample complexity depends on the intrinsic dimension $d$, instead of the data dimension $D$. Our results demonstrate that ConvResNets are adaptive to low-dimensional structures of data sets.

연구 동기 및 목표

• 딥러닝의 고차원 데이터에서의 경험적 성공과 이론적 이해 사이의 격차를 해소하기 위해.
• 기존 이론에서의 차원의 극복 문제에도 불구하고 딥러닝이 왜 잘 일반화되는지 설명하기 위해.
• 실제 데이터의 저차원 기하학적 구조를 고려한 ConvResNets에 대한 통계 이론을 개발하기 위해.
• 내재 차원 $d$가 아닌 임베드 차원 $D$에 따라 의존하는 함수 근사 및 분류 오차 경계를 수립하기 위해.

제안 방법

• $\mathbb{R}^D$에 임베드된 $d$차원 다양체 위에서 스킵 연결과 컨volution 레이어를 갖는 ConvResNet 아키텍처의 이론적 분석.
• 실제 데이터에서 흔한 비연속적이거나 불규칙한 함수를 모델링하기 위해 베소프 함수 공간의 사용.
• 잔여 블록과 컨볼루션 레이어를 통해 목표 함수를 다양체 위에서 근사하는 깊은 네트워크 $\bar{f}_{\phi,n}$의 구축.
• 레이어별 복잡도를 활용하여 네트워크 클래스의 커버링 수를 바ounds하여 일반화 오차를 제어.
• 로지스틱 손실의 경험적 리스크 최소화를 통해 초과 위험 경계 유도 및 다양체 구조 활용.
• 추정 오차와 근사 오차를 제어하기 위해 다양체에 대한 농도 부등식과 근사 이론의 적용.

실험 결과

연구 질문

• RQ1 적절한 아키텍처 선택이 이루어질 경우, ConvResNets는 저차원 다양체 위의 임의의 베소프 함수를 임의의 정확도로 근사할 수 있는가?
• RQ2 ConvResNet 기반 이진 분류의 샘플 복잡도는 내재 차원 $d$에 의존하고 임베드 차원 $D$에 의존하는가?
• RQ3 일반화 오차 경계는 부드러움 파라미터 $s$와 다양체 차원 $d$에 대해 유도될 수 있는가?
• RQ4 특히 스킵 연결과 컨볼루션 구조가 다양체 위의 근사 및 추정에 어떻게 기여하는가?
• RQ5 데이터가 고차원일지라도, 이론적 초과 위험 경계가 데이터의 내재 기하학에 적응 가능한가?

주요 결과

• 적절한 아키텍처를 선택할 경우, ConvResNets는 $d$차원 다양체 위의 임의의 베소프 함수를 임의의 정밀도로 근사할 수 있다.
• 이진 분류에 대한 ConvResNets의 초과 위험은 $n^{-\frac{s}{2s+2(s\vee d)}}$의 비율로 스케일링되며, 여기서 $s$는 부드러움 파라미터이고 $d$는 내재 차원이다.
• 샘플 복잡도는 내재 차원 $d$에 의존하고 임베드 차원 $D$에 의존하지 않아 차원의 극복 문제를 피한다.
• 일반화 오차 경계는 네트워크 클래스의 커버링 수 바ounds를 통해 유도되었으며, 이는 $d$와 $s$에 따라 스케일링되며 $D$에 따라선 않음.
• 이론은 ConvResNets가 저차원 데이터 구조에 적응 가능함을 보여주며, 고차원 데이터에서의 경험적 성공을 설명한다.
• 이론적 프레임워크는 스킵 연결을 갖는 고정 너비 네트워크를 사용하여 다양체 위에서 효율적이고 정확한 학습을 지원한다.