[論文レビュー] Approximation and Non-parametric Estimation of ResNet-type Convolutional Neural Networks

Kenta Oono, Taiji Suzuki|arXiv (Cornell University)|Mar 24, 2019

Advanced Neural Network Applications被引用数 29

ひとこと要約

この論文は、定数の幅、チャネル数、フィルターサイズを持つResNet型畳み込みニューラルネットワーク（CNN）が、ホルダー空間やバロン空間などの関数クラスにおいて、最小最大最適な近似誤差および推定誤差率を達成できることを示している。著者らは、全結合ネットワーク（FNN）に内在するブロックスパース構造を活用し、不切実なスパarsityや広大なアーキテクチャを必要とせずに、最適な誤差率を維持する同等のResNet型CNNを構築している。

ABSTRACT

Convolutional neural networks (CNNs) have been shown to achieve optimal approximation and estimation error rates (in minimax sense) in several function classes. However, previous analyzed optimal CNNs are unrealistically wide and difficult to obtain via optimization due to sparse constraints in important function classes, including the Hölder class. We show a ResNet-type CNN can attain the minimax optimal error rates in these classes in more plausible situations -- it can be dense, and its width, channel size, and filter size are constant with respect to sample size. The key idea is that we can replicate the learning ability of Fully-connected neural networks (FNNs) by tailored CNNs, as long as the FNNs have extit{block-sparse} structures. Our theory is general in a sense that we can automatically translate any approximation rate achieved by block-sparse FNNs into that by CNNs. As an application, we derive approximation and estimation error rates of the aformentioned type of CNNs for the Barron and Hölder classes with the same strategy.

研究の動機と目的

• 非パラメトリック推定における理論的最適性と実用的妥当性のギャップを埋める。
• ホルダー空間などの関数クラスにおいて、最小最大最適性を達成するために過去に必要とされた不切実なスパース性や超広いCNNの不切実さを解決する。
• 定数の深さ、幅、フィルターサイズを持つResNet型CNNが、最適なFNNと同等の最小最大誤差率を達成できることを示す。
• ブロックスパースFNNから同等のCNNへの近似レートを翻訳する一般枠組みを確立する。
• 密な定数サイズのCNNが、主要な関数クラスにおいて、スパースで広大なFNNと同等の最適な推定誤差率を達成できることを示す。

提案手法

• ブロックスパース全結合ニューラルネットワーク（FNN）からResNet型CNNへの写像を構築し、近似精度を保持する。
• ReLU活性化関数とアイデンティティスキップ接続を備えた残差ブロックを用いて、FNNの構成要素を模倣し、同時に幅と深さを一定に保つ。
• 理論的解析を簡素化するため、畳み込みに片側パディングを適用するが、等距離パディングへの拡張は、わずかな修正で可能であると示している。
• マスクパターンをアイデンティティ接続に適用することで、マスク処理されたCNNのパラメータ空間の被覆数を用いて一般化誤差を制御する。
• 被覆数とパラメータ数を用いてモデルの複雑さを考慮する一般化境界を通じて、推定誤差率を導出する。
• FNNにおけるブロック数 $M$ の調整により、近似誤差と推定誤差のトレードオフを最適化し、最小最大最適性を達成する。

実験結果

リサーチクエスチョン

• RQ1 定数の幅、チャネル数、フィルターサイズを持つResNet型CNNは、最小最大最適な近似誤差および推定誤差率を達成できるか？
• RQ2 FNNに内在するブロックスパース構造をどのように活用し、最適性を損なわずに同等の密なCNNを構築できるか？
• RQ3 ブロックスパースFNNの近似レートと、それに対応するCNNとの間の一般化性能に関する関係は何か？
• RQ4 ホルダー空間およびバロン空間における最小最大最適誤差率は、実用的で密なCNNアーキテクチャによって達成可能か？
• RQ5 提案されたCNNアーキテクチャにプーリングやバッチ正規化が存在しないことが、理論的最適性に影響を与えるか？

主な発見

• 定数の幅、チャネル数、フィルターサイズを持つResNet型CNNは、$\beta$-ホルダー空間に対して最小最大最適な近似誤差率を達成できる。
• 提案されたCNNの推定誤差率は、$\beta$-ホルダー空間の最小最大下界と一致し、$\tilde{O}(N^{-2\alpha\gamma_1})$ のレートを示す。ここで $\alpha = \frac{1}{2\gamma_1 + \gamma_2}$ であり、$\gamma_1 = \frac{\beta}{D}$、$\gamma_2 = 1$ である。
• CNNの近似誤差は $O(M^{-\frac{\beta}{D}})$ であり、ブロックスパースFNNの最適レートと一致する。
• CNNモデルクラスの被覆数は、$\mathcal{N}(\varepsilon, \mathcal{G}, \|\cdot\|_\infty) \leq (2B\Lambda_1\varepsilon^{-1})^{\Lambda_2} \cdot 2^{C\tilde{M}L}$ で有界であり、一般化境界の支持を示している。
• この手法は、$L_0$-ノルムのスパarsity制約や組み合わせ最適化を必要とせずに、最適FNNと同等の最小最大推定誤差率を達成する。
• 理論的枠組みにより、任意のブロックスパース構造を持つFNNの近似レートを、対応するCNNレートに自動的に翻訳可能である。