[논문 리뷰] Approximation and Learning with Deep Convolutional Models: a Kernel Perspective

Alberto Bietti|arXiv (Cornell University)|2021. 02. 19.

Domain Adaptation and Few-Shot Learning참고 문헌 64인용 수 5

한 줄 요약

이 논문은 커널 시각에서 깊이 있는 컨volution 커널 모델을 연구하며, 계층적 컨볼루션 및 풀링 레이어가 공간 패치 간의 가산 상호작용 모델로 구성된 RKHS를 유도함을 보여주며, 이는 공간적으로 유사한 상호작용 항목을 선호하는 노름을 갖는다. 이는 목표 함수가 패치 기반 공간 정규성 특성을 보일 경우, 표본 복잡도가 다항 수준으로 향상됨을 보여주는 일반화 경계를 수립한다.

ABSTRACT

The empirical success of deep convolutional networks on tasks involving high-dimensional data such as images or audio suggests that they can efficiently approximate certain functions that are well-suited for such tasks. In this paper, we study this through the lens of kernel methods, by considering simple hierarchical kernels with two or three convolution and pooling layers, inspired by convolutional kernel networks. These achieve good empirical performance on standard vision datasets, while providing a precise description of their functional space that yields new insights on their inductive bias. We show that the RKHS consists of additive models of interaction terms between patches, and that its norm encourages spatial similarities between these terms through pooling layers. We then provide generalization bounds which illustrate how pooling and patches yield improved sample complexity guarantees when the target function presents such regularities.

연구 동기 및 목표

• 풀링 및 컨볼루션과 같은 아키텍처 선택에 중점을 두어 커널 방법을 통해 딥 컨volution 네트워크의 인덕티브 바이어스를 이해한다.
• 이미지와 같은 고차원 데이터에서 컨볼루션 네트워크가 잘 일반화되는 이유에 대한 이론적 이해의 격차를 메운다.
• 다중 컨볼루션 및 풀링 레이어를 갖는 깊이 있는 구조적 커널이 유도하는 재생 커널 힐버트 공간(RKHS)의 정확한 특성을 규명한다.
• 풀링 및 패치 기반 상호작용과 같은 아키텍처 구성 요소가 학습에서 표본 복잡도를 향상시키는 방식을 보여준다.
• 공간적으로 정규적인 상호작용 패턴을 갖는 함수에 대해 계층적 커널 구조의 이점을 정량화하는 일반화 경계를 수립한다.

제안 방법

• 컨볼루션 커널 네트워크에서 영감을 얻은 깊이 있는 구조적 커널의 클래스를 수식적으로 정의하며, 가우시안 풀링과 차수 2–4의 다항식 커널을 사용한 두 또는 세 레이어를 활용한다.
• 이 커널의 RKHS를 공간 패치 간의 상호작용 항목의 가산 모델로 특성화하며, 이 노름은 상호작용 항목 간의 공간 유사성을 장려한다.
• 구면 조화 분해와 커널 근사 이론을 사용하여 RKHS 노름과 자유도의 정확한 표현을 유도한다.
• 통계적 학습 이론(Cucker-Smale 프레임워크)의 일반화 이론을 적용하여 초과 리스크의 경계를 도출하며, 이는 목표 함수의 정규성과 커널 구조에 따라 표현된다.
• 소스 조건과 고유값 감쇠를 활용하여 근사 오차와 추정 오차를 경계화하며, 이는 패치 차원 d에 따라 결정되는 표본 복잡도 비율을 이끌어낸다.
• 전역 풀링과 국소 풀링의 영향을 자유도에 대한 경계를 통해 비교하며, 국소 풀링이 더 우수한 스케일링 성능을 보임을 보여준다.

실험 결과

연구 질문

• RQ1 다중 컨볼루션 및 풀링 레이어는 깊이 있는 커널 모델의 기능 공간을 어떻게 형성하는가?
• RQ2 풀링이 포함된 깊이 있는 컨볼루션 커널이 유도하는 RKHS의 정확한 구조는 무엇인가?
• RQ3 풀링과 패치 기반 상호작용은 비계층적 모델 대비 일반화 성능을 어떻게 향상시키는가?
• RQ4 이러한 커널을 사용하여 공간적으로 정규적인 상호작용 패턴을 갖는 함수를 학습할 경우의 표본 복잡도는 무엇인가?
• RQ5 딥 컨볼루션 네트워크의 인덕티브 바이어스는 커널 방법을 통해 정확하게 캡처하고 정량화할 수 있는가?

주요 결과

• 제안된 깊이 있는 커널 모델의 RKHS는 공간 패치 간의 상호작용 항목의 가산 모델로 구성되며, 이 노름은 공간적으로 비유사한 상호작용을 제재한다.
• 풀링 레이어는 상호작용 항목 간의 공간 유사성을 강제로 유도하며, 효과적으로 기능 공간을 구조적이고 이동 불변적인 패턴을 선호하는 방식으로 정규화한다.
• 일반화 경계는 목표 함수가 공간적으로 정규적인 상호작용 항목을 갖는 경우 입력 크기의 다항 수준으로 표본 복잡도가 향상됨을 보여준다.
• 초과 리스크 경계는 $ \left( \frac{\|h\|_{2}^{2/\alpha}}{n} \right)^{\frac{2\alpha r}{2\alpha r + 1}} $ 로 스케일되며, 이 지수는 목표 함수의 부드러움과 커널의 고유값 감쇠에 따라 달라진다.
• 전역 풀링의 경우 경계는 $ (|\Omega|^{-1/\alpha}/n)^{\frac{2\alpha r}{2\alpha r + 1}} $ 로 스케일되지만, 국소 풀링은 $ (1/|\Omega|n)^{\frac{2\alpha r}{2\alpha r + 1}} $ 로 향상되어 아키텍처적 이점이 명확히 드러난다.
• 근사 오차는 풀링 필터 $ h $ 와 무관하지만, 추정 오차는 $ \|h\|_{2}^{2/\alpha} $ 에 의존하므로, 풀링이 일반화를 제어하는 데서 중요한 역할을 한다.