[論文レビュー] Universality of Deep Convolutional Neural Networks

Ding‐Xuan Zhou|arXiv (Cornell University)|May 28, 2018

Neural Networks and Applications参考文献 22被引用数 17

ひとこと要約

この論文は、ネットワークの深さが十分に大きい場合、深層畝込みニューラルネットワーク（CNN）がコンpact領域上の任意の連続関数を任意の精度で近似できることを証明することで、CNNの普遍性を確立している。理論的枠組みにより、深層CNNは全結合ネットワークと比較してはるかに少ないパラメータでこれを達成できることを示しており、近似理論における畝込み構造の効率性と表現力の高さが浮き彫りになっている。

ABSTRACT

Deep learning has been widely applied and brought breakthroughs in speech recognition, computer vision, and many other domains. The involved deep neural network architectures and computational issues have been well studied in machine learning. But there lacks a theoretical foundation for understanding the approximation or generalization ability of deep learning methods generated by the network architectures such as deep convolutional neural networks having convolutional structures. Here we show that a deep convolutional neural network (CNN) is universal, meaning that it can be used to approximate any continuous function to an arbitrary accuracy when the depth of the neural network is large enough. This answers an open question in learning theory. Our quantitative estimate, given tightly in terms of the number of free parameters to be computed, verifies the efficiency of deep CNNs in dealing with large dimensional data. Our study also demonstrates the role of convolutions in deep CNNs.

研究の動機と目的

• 学習理論における深層畝込みニューラルネットワーク（CNN）の近似能力に理論的基盤を構築すること。
• 深層CNNが任意の連続関数を近似可能かどうかという未解決の問題を解消し、ディープラーニング理論における重要なギャップを埋めること。
• 自由パラメータの数と関連付けて、深層CNNの近似効率を定量化すること。
• 畝込み構造が表現能力と計算効率をどのように向上させるかを数学的に示すこと。

提案手法

• 活性化関数として修正線形関数（ReLU）を用い、σ(u) = max{u, 0} で定義され、ネットワーク出力に成分ごとに適用される。
• スパース畝込み行列 T^(j) を反復的に適用することで深層CNNを構築し、各行列は長さ s の固定フィルターマスク w^(j) で定義され、スパarsity とパラメータ効率性を確保する。
• 構造的情報を層間で保持し、普遍的近似を可能にするために、階層的幅の進行 d_j = d + j·s を採用する。
• 各層の出力を安定化・制御可能にするために、特定の構造を持つバイアスベクトル b^(j) を導入し、正確な近似制御を可能にする。
• 多項式の畝込み因数分解を、列の記号を用いて実装し、高次フィルタを低次フィルタの列に分解することで、深さに基づく近似を実現する。
• ソボレフ空間ノルムとウェーブレットに類似した多項式因数分解を用いて、深さ J と次元 d の関数として近似誤差のタイトな境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 深層畝込みニューラルネットワークは、コンpact領域 Ω ⊂ ℝ^d 上の任意の連続関数を、任意の精度で近似可能か？
• RQ2 深層CNNにおける自由パラメータの数は、その近似精度とどのように関係するか？
• RQ3 全結合ネットワークと比較して、畝込み構造が効率的な普遍的近似を可能にする役割は何か？
• RQ4 近似誤差は、ネットワークの深さと入力次元の関数として定量的に境界づけ可能か？
• RQ5 高次畝込みフィルタを、階層的合成により低次フィルタの列に因数分解することは可能か？

主な発見

• 深層CNNは普遍的近似器である：任意のコンpact領域 Ω ⊂ ℝ^d 上の連続関数 f に対して、十分な深さ J を持つ深層CNNが存在し、J → ∞ のとき近似誤差が 0 に収束する。
• 近似誤差は O(√(log J) · J^(-1/2 - 1/d)) のレートで減少し、深さ J と入力次元 d の関数としてタイトな定量的境界が得られる。
• 深層CNNの自由パラメータ総数は (5s + 2)J + 2d - 2s - 1 であり、全結合ネットワークと比較して顕著に少ないことが示され、計算効率の高さが裏付けられる。
• 全結合層を一切必要とせず、ReLU活性化関数とスパース畝込み行列のみで普遍的近似が達成可能である。
• 本論文は、{0, ..., M} にサポートを持つ任意のフィルタ系列 W が、長さ s 以下の J 個の系列の積に因数分解可能であることを証明し、深さによる階層的近似を可能にする。
• 理論的枠組みにより、畝込みが単なる構造的選択ではなく、ディープラーニングにおける効率的かつ普遍的な関数近似を可能にする根本的要因であることが確認された。