[論文レビュー] Besov Function Approximation and Binary Classification on Low-Dimensional Manifolds Using Convolutional Residual Networks

Hao Liu, Minshuo Chen+2 more|arXiv (Cornell University)|Sep 7, 2021

Computational Physics and Python Applications被引用数 4

ひとこと要約

本稿は、高次元空間に埋め込まれた低次元多様体上でのBesov関数の近似および二値分類において、畳み込み残差ネットワーク（ConvResNets）の理論的保証を確立する。埋め込み次元$D$ではなく内在次元$d$に着目することで、著者らはConvResNetsが$ n^{-\frac{s}{2s+2(s\vee d)}} $のオーダーで過剰リスクを達成することを証明し、標本複雑度が$d$に依存することを示し、高次元データに低次元構造がある場合の深層学習の実証的成功を説明する。

ABSTRACT

Most of existing statistical theories on deep neural networks have sample complexities cursed by the data dimension and therefore cannot well explain the empirical success of deep learning on high-dimensional data. To bridge this gap, we propose to exploit low-dimensional geometric structures of the real world data sets. We establish theoretical guarantees of convolutional residual networks (ConvResNet) in terms of function approximation and statistical estimation for binary classification. Specifically, given the data lying on a $d$-dimensional manifold isometrically embedded in $\mathbb{R}^D$, we prove that if the network architecture is properly chosen, ConvResNets can (1) approximate Besov functions on manifolds with arbitrary accuracy, and (2) learn a classifier by minimizing the empirical logistic risk, which gives an excess risk in the order of $n^{-\frac{s}{2s+2(s\vee d)}}$, where $s$ is a smoothness parameter. This implies that the sample complexity depends on the intrinsic dimension $d$, instead of the data dimension $D$. Our results demonstrate that ConvResNets are adaptive to low-dimensional structures of data sets.

研究の動機と目的

• 高次元データにおける深層学習の実証的成功と理論的理解の間のギャップを埋める。
• 現在の理論が示す次元の呪いとは対照的に、なぜ深層学習がうまく一般化するのかを説明する。
• 現実世界のデータに見られる低次元幾何的構造を考慮したConvResNetsの統計理論を構築する。
• 埋め込み次元$D$ではなく内在次元$d$に依存する関数近似および分類誤差境界を確立する。

提案手法

• 高次元空間$\mathbb{R}^D$に埋め込まれた$d$次元多様体上でのスキップ接続と畳み込み層を備えたConvResNetアーキテクチャの理論的分析。
• 現実のデータに一般的に見られる不規則または滑らかでない関数をモデル化するためのBesov関数空間の使用。
• 残差ブロックと畳み込み層を用いて、多様体上での目的関数を近似する深層ネットワーク$\bar{f}_{\phi,n}$の構築。
• 段階ごとの複雑度を用いたネットワーククラスの被覆数の上限評価により、一般化誤差の制御を実現。
• ロジスティック損失の経験的リスク最小化を用いて過剰リスク境界を導出。多様体構造を活用する。
• 推定誤差と近似誤差の制御のため、多様体における集中不等式と近似理論の応用。

実験結果

リサーチクエスチョン

• RQ1 適切に選ばれたアーキテクチャのもとで、ConvResNetsは低次元多様体上での任意のBesov関数を任意の精度で近似可能か？
• RQ2 ConvResNetを用いた二値分類の標本複雑度は、埋め込み次元$D$ではなく内在次元$d$に依存するか？
• RQ3 一般化誤差は滑らかさパラメータ$s$と多様体次元$d$の観点から境界づけられるか？
• RQ4 特にスキップ接続と畳み込みの構造が、多様体上での近似と推定にどのように寄与するか？
• RQ5 理論的過剰リスク境界は、データが高次元であってもその内在幾何構造に適応可能か？

主な発見

• 適切に選ばれたアーキテクチャのもとで、ConvResNetsは$d$次元多様体上での任意のBesov関数を任意の精度で近似可能である。
• 二値分類におけるConvResNetの過剰リスクは、$ n^{-\frac{s}{2s+2(s\vee d)}} $のオーダーでスケーリングされ、$s$は滑らかさパラメータ、$d$は内在次元である。
• 標本複雑度は埋め込み次元$D$ではなく内在次元$d$に依存し、次元の呪いを回避する。
• 一般化誤差境界は、ネットワーククラスの被覆数の上限に基づいて導出され、そのスケーリングは$d$と$s$に依存し、$D$には依存しない。
• 理論は、ConvResNetsが低次元データ構造に適応可能であることを示し、高次元データにおける実証的成功を説明する。
• 理論的枠組みは、固定幅のネットワークにスキップ接続を組み合わせることで、多様体上での効率的かつ正確な学習が可能であることを支持する。