[論文レビュー] Theoretical Analysis of Inductive Biases in Deep Convolutional Networks

Zihao Wang, Lei Wu|arXiv (Cornell University)|May 15, 2023

Stochastic Gradient Optimization Techniques被引用数 7

ひとこと要約

この論文は、深層畳み込みニューラルネットワーク（CNN）における誘導的バイアスの理論的分析を提供し、普遍性を達成するのに 𝒪(log d) の深さで十分であり、スパース関数を学習するのにも 𝒪̃(log²d) のサンプルで十分であることを示している。本研究は、重み共有と局所性の役割を分離し、これらの誘導的バイアスによる対称性の破壊のおかげで、CNNは局所接続型ネットワーク（LCN）や全結合型ネットワーク（FCN）よりもサンプル効率で桁違いに優れていることを証明している。

ABSTRACT

In this paper, we provide a theoretical analysis of the inductive biases in convolutional neural networks (CNNs). We start by examining the universality of CNNs, i.e., the ability to approximate any continuous functions. We prove that a depth of $\mathcal{O}(\log d)$ suffices for deep CNNs to achieve this universality, where $d$ in the input dimension. Additionally, we establish that learning sparse functions with CNNs requires only $\widetilde{\mathcal{O}}(\log^2d)$ samples, indicating that deep CNNs can efficiently capture {\em long-range} sparse correlations. These results are made possible through a novel combination of the multichanneling and downsampling when increasing the network depth. We also delve into the distinct roles of weight sharing and locality in CNNs. To this end, we compare the performance of CNNs, locally-connected networks (LCNs), and fully-connected networks (FCNs) on a simple regression task, where LCNs can be viewed as CNNs without weight sharing. On the one hand, we prove that LCNs require $Ω(d)$ samples while CNNs need only $\widetilde{\mathcal{O}}(\log^2d)$ samples, highlighting the critical role of weight sharing. On the other hand, we prove that FCNs require $Ω(d^2)$ samples, whereas LCNs need only $\widetilde{\mathcal{O}}(d)$ samples, underscoring the importance of locality. These provable separations quantify the difference between the two biases, and the major observation behind our proof is that weight sharing and locality break different symmetries in the learning process.

研究の動機と目的

• CNNが表現能力がほぼ同等であるにもかかわらず、視覚タスクにおいてFCNよりも優れる理由を理論的に理解すること。
• 重み共有と局所性の個別の寄与を分離・定量化するため、局所接続型ネットワーク（LCN）と比較すること。
• 最小限の深さで深層CNNの普遍性を確立し、スパース関数の学習におけるサンプル複雑度を分析すること。
• マルチチャネリングとダウンサンプリングが、対数的深さの普遍性および長距離相関の効率的学習を達成するために不可欠であることを示すこと。

提案手法

• ダウンサンプリングが受容 field を指数関数的に拡大することを示し、マルチチャネリングとダウンサンプリングの新規な組み合わせを用いて、深層CNNの普遍性を証明した。
• 空間的縮小過程において情報損失を防ぐために、マルチチャネリングを用い、深さの進行に伴う情報保持を確保した。
• CNN、LCN、FCNの比較を可能にするために、合成回帰タスクを定式化し、重み共有と局所性の効果を分離した。
• 統計的学習理論を適用し、サンプル複雑度の境界を導出。濃度不等式とパラメータ差のフロベニウスノルムの境界を用いた。
• 一般化誤差の下界を導出するため、コーシー＝シュワルツとガウス型尾部の境界を用い、パラメータ距離と関数距離の関係を確立した。
• 深さの下界を確立し、ダウンサンプリングがなければCNNが普遍性を達成するのに Ω(d) の深さを要することを示し、ダウンサンプリングの必要性を証明した。

実験結果

リサーチクエスチョン

• RQ1 深層CNNは入力次元 d に対して対数的深さ 𝒪(log d) で普遍性を達成できるか？ そのような普遍性を実現する構造的要素は何か？
• RQ2 スパース関数の学習におけるCNNのサンプル複雑度はどのようにスケーリングされるか？ これはほぼ最適か？
• RQ3 重み共有と局所性の両方が、深層ネットワークにおけるサンプル効率に果たす個別の寄与は何か？
• RQ4 なぜCNNは、長距離相関を必要とする学習タスクにおいてLCN や FCN よりも優れるのか？
• RQ5 マルチチャネリング、ダウンサンプリング、重み共有、局所性の相乗効果が、一般化性能の向上と理論的に結びつけられるか？

主な発見

• 深層CNNが任意の連続関数を普遍的に近似可能であるためには、𝒪(log d) の深さで十分であり、これまでは Ω(d) の深さを要するとされていた研究と比べて顕著な改善である。
• ダウンサンプリングがなければ、CNNが普遍性を達成するには Ω(d) の深さを要するため、対数的深さの普遍性を実現するにはダウンサンプリングが不可欠であることが証明された。
• スパース関数をCNNで学習するには 𝒪̃(log²d) のサンプルで十分であり、情報理論的下界 Ω(log d) と比較してほぼ最適である。
• CNNは、合計で 𝒪(k² log d) のパラメータで任意の k-スパース関数を学習可能であり、線形ケースでは Ω(d) のパラメータを要するLASSOと比べて顕著な改善である。
• LCNは同じタスクを学習するのに Ω(d) のサンプルを要するが、CNNは 𝒪̃(log²d) のサンプルで十分であり、重み共有がサンプル効率に不可欠であることを証明した。
• FCNは Ω(d²) のサンプルを要するが、LCNは 𝒪̃(d) のサンプルで十分であり、局所性（小サイズフィルタ）がサンプル複雑度の低減に不可欠であることを示した。