[論文レビュー] Convexified Convolutional Neural Networks

Yuchen Zhang, Percy Liang+1 more|arXiv (Cornell University)|Sep 4, 2016

Stochastic Gradient Optimization Techniques参考文献 42被引用数 18

ひとこと要約

この論文は、再帰的ヒルバート空間（RKHS）表現と核ノルム正則化を用いてパラメータ共有を保ちながら、2層畳み込みニューラルネットワーク（CNN）の凸緩和である凸化畳み込みニューラルネットワーク（CCNN）を導入する。この手法は、一般化誤差が最良のCNNのオракルリスクに収束することを保証し、理論的保証と非凸CNNおよび他のモデルと競合する実験的性能を達成する。

ABSTRACT

We describe the class of convexified convolutional neural networks (CCNNs), which capture the parameter sharing of convolutional neural networks in a convex manner. By representing the nonlinear convolutional filters as vectors in a reproducing kernel Hilbert space, the CNN parameters can be represented as a low-rank matrix, which can be relaxed to obtain a convex optimization problem. For learning two-layer convolutional neural networks, we prove that the generalization error obtained by a convexified CNN converges to that of the best possible CNN. For learning deeper networks, we train CCNNs in a layer-wise manner. Empirically, CCNNs achieve performance competitive with CNNs trained by backpropagation, SVMs, fully-connected neural networks, stacked denoising auto-encoders, and other baseline methods.

研究の動機と目的

• バックプロパゲーションによる標準的なCNN学習の非凸性と統計的解釈の難しさに対処すること。
• CNNの構造的利点（特にパラメータ共有と局所的受容野）を保持する凸最適化フレームワークを開発すること。
• サンプルサイズが増加するにつれて、CCNNの一般化誤差が最適なCNN性能に収束することを証明すること。
• グリーディで層ごとのトレーニングヒューリスティックを用いて、深層ネットワークへの凸化アプローチの拡張を試みること。
• 標準的なビジョンベンチマーク上でCCNNをCNN、SVM、および他のベースラインと比較して実験的に検証すること。

提案手法

• CNNフィルタを再帰的ヒルバート空間（RKHS）内の要素として表現し、非線形フィルタの関数的表現を可能にする。
• 係数ベクトルの外積によって形成される低ランク行列を用いて、フィルタ重みをパrameter化し、畳み込み構造を保持する。
• 低ランク制約を核ノルムペナルティに緩和することで、非凸問題を凸最適化問題に変換する。
• 効率的かつ最適に解を得るために、投影勾配降下法を用いる。
• 深層ネットワークの場合は、各層を事前にCCNNフレームワークでプレトレーニングするグリーディで層ごとのトレーニング戦略を適用する。
• 平均プーリングやマルチチャネル入力処理などの拡張を、凸フレームワーク内に統合する。

実験結果

リサーチクエスチョン

• RQ1 2層CNNの非凸学習を、表現力の保持を伴って凸化できるか？
• RQ2 凸化されたモデルは、無限のデータが与えられた場合の最良のCNNに近い一般化誤差を達成するか？
• RQ3 パラメータ共有は、全結合ネットワークと比較して、凸化モデルのサンプル複雑度にどのように影響するか？
• RQ4 凸化フレームワークを、妥当な性能でより深いネットワークに拡張できるか？
• RQ5 標準的なビジョンデータセットにおいて、CCNNの性能は標準CNNおよび他のベースラインと比べてどうか？

主な発見

• CCNNの一般化誤差は、最良の2層CNNのオラクルリスクに収束し、モデルの複雑度項がサンプルサイズの多項式的に減少する。
• CCNNのサンプル複雑度は、凸化された全結合ネットワークと比較して顕著に低く、パラメータ共有の利点を示している。
• MNISTおよびその変種では、CCNNは凸モデルの中で最先端の性能を達成する。
• CIFAR-10では、同じ深さのCNNおよび他の非凸最適化ベースラインを上回る性能を示す。
• 事前学習済みCNNフィルタに基づいてCCNNを構築することで、元のCNNの性能が向上し、相互運用性と向上可能性が示唆される。
• 理論的分析により、CCNNのラデマッハ複雑度が有界であり、サンプルサイズとともに減少することが示され、一般化を支持する。