[論文レビュー] Approximation and Learning with Deep Convolutional Models: a Kernel Perspective

Alberto Bietti|arXiv (Cornell University)|Feb 19, 2021

Domain Adaptation and Few-Shot Learning参考文献 64被引用数 5

ひとこと要約

本稿は、カーネルの観点から深層畳み込みカーネルモデルを研究し、階層的な畳み込みおよびプーリング層が、空間的パッチ間の加法的相互作用モデルからなるRKHSを誘導することを示している。このRKHSのノルムは、空間的に類似した相互作用項を優遇する。また、ターゲット関数がパッチベースの空間的正則性を示す場合、サンプル複雑度が多項式的に改善されることを示す一般化境界を確立している。

ABSTRACT

The empirical success of deep convolutional networks on tasks involving high-dimensional data such as images or audio suggests that they can efficiently approximate certain functions that are well-suited for such tasks. In this paper, we study this through the lens of kernel methods, by considering simple hierarchical kernels with two or three convolution and pooling layers, inspired by convolutional kernel networks. These achieve good empirical performance on standard vision datasets, while providing a precise description of their functional space that yields new insights on their inductive bias. We show that the RKHS consists of additive models of interaction terms between patches, and that its norm encourages spatial similarities between these terms through pooling layers. We then provide generalization bounds which illustrate how pooling and patches yield improved sample complexity guarantees when the target function presents such regularities.

研究の動機と目的

• 畳み込みおよびプーリングなどのアーキテクチャ的選択に焦点を当て、カーネル手法を用いて深層畳み込みネットワークのインダクティブバイアスを理解すること。
• 画像のような高次元データに対して畳み込みネットワークがなぜうまく一般化するのかという理論的理解のギャップを埋めること。
• 複数の畳み込みおよびプーリング層を有する深層構造的カーネルが誘導する再生核ヒルベルト空間（RKHS）の正確な特徴付けを提供すること。
• プーリングやパッチベースの相互作用といったアーキテクチャ的要素が、学習におけるサンプル複雑度の向上に寄与することを示すこと。
• 空間的正則な相互作用パターンを示す関数に対して、階層的カーネル構造の利点を定量化する一般化境界を確立すること。

提案手法

• 畳み込みカーネルネットワークにインspiredされた、2〜3層の深層構造的カーネルのクラスを形式化し、ガウスプールイングおよび2〜4次の多項式カーネルを用いる。
• これらのカーネルのRKHSを、空間的パッチ間の相互作用項の加法的モデルとして特徴付け、相互作用項同士の空間的類似性を促進するノルムを持つこと。
• 球面調和展開およびカーネル近似理論を用いて、RKHSノルムおよび自由度の正確な表現を導出する。
• 統計的学習の一般化理論（Cucker-Smaleフレームワーク）を適用し、ターゲット関数の正則性およびカーネル構造に依存する超過リスクの境界を導出する。
• ソース条件および固有値の崩壊を活用して、近似誤差と推定誤差をバインドし、パッチ次元dに依存するサンプル複雑度レートを導出する。
• 自由度の境界を用いてグローバルプールイングとローカルプールイングの効果を比較し、ローカルプールイングがより良いスケーリングを示すことを示す。

実験結果

リサーチクエスチョン

• RQ1 複数の畳み込みおよびプーリング層は、深層カーネルモデルの関数的空間をどのように形作るか？
• RQ2 プーリングを伴う深層畳み込みカーネルが誘導するRKHSの正確な構造は何か？
• RQ3 プーリングおよびパッチベースの相互作用は、非階層的モデルと比較して一般化性能をどのように向上させるか？
• RQ4 このようなカーネルを用いて、空間的に正則な相互作用パターンを示す関数を学習する際のサンプル複雑度は何か？
• RQ5 深層畳み込みネットワークのインダクティブバイアスは、カーネル手法を用いて正確に捉え、定量化できるか？

主な発見

• 提案された深層カーネルモデルのRKHSは、空間的パッチ間の相互作用項の加法的モデルから構成され、ノルムが空間的に類似しない相互作用をペナルティ付ける。
• プールイング層は、相互作用項間の空間的類似性を強制し、構造的で並進不変なパターンを優先する関数的空間を効果的に正則化する。
• 一般化境界により、ターゲット関数が空間的に正則な相互作用項を示す場合、入力サイズに応じてサンプル複雑度が多項式的に改善されることが示された。
• 超過リスク境界は $ \left( \frac{\|h\|_{2}^{2/\alpha}}{n} \right)^{\frac{2\alpha r}{2\alpha r + 1}} $ とスケーリングされ、指数はターゲット関数の滑らかさおよびカーネルの固有値崩壊に依存する。
• グローバルプールイングでは、境界は $ (|\Omega|^{-1/\alpha}/n)^{\frac{2\alpha r}{2\alpha r + 1}} $ とスケーリングされるが、ローカルプールイングにより $ (1/|\Omega|n)^{\frac{2\alpha r}{2\alpha r + 1}} $ に改善され、アーキテクチャ的利点が明確になった。
• 近似誤差はプールイングフィルタ $ h $ に依存しないが、推定誤差は $ \|h\|_{2}^{2/\alpha} $ に依存するため、プールイングが一般化を制御する役割を果たすことが強調された。