[論文レビュー] Deep Convolutional Networks are Hierarchical Kernel Machines

Fabio Anselmi, Lorenzo Rosasco+2 more|arXiv (Cornell University)|Aug 5, 2015

Neural Networks and Applications参考文献 24被引用数 18

ひとこと要約

この論文は、深層畳み込みニューラルネットワーク（DCN）が、群平均化された整流非線形性を介してカーネルを計算する階層的カーネルマシンと数学的に同等であることを確立している。主な貢献は、ReLU活性化関数とプーリングを用いたDCNが、正確に階層的カーネルマシンとして表現可能であるという理論的枠組みを提示し、一般化および不変性の性質について新たな視点を提供することにある。

ABSTRACT

In i-theory a typical layer of a hierarchical architecture consists of HW modules pooling the dot products of the inputs to the layer with the transformations of a few templates under a group. Such layers include as special cases the convolutional layers of Deep Convolutional Networks (DCNs) as well as the non-convolutional layers (when the group contains only the identity). Rectifying nonlinearities -- which are used by present-day DCNs -- are one of the several nonlinearities admitted by i-theory for the HW module. We discuss here the equivalence between group averages of linear combinations of rectifying nonlinearities and an associated kernel. This property implies that present-day DCNs can be exactly equivalent to a hierarchy of kernel machines with pooling and non-pooling layers. Finally, we describe a conjecture for theoretically understanding hierarchies of such modules. A main consequence of the conjecture is that hierarchies of trained HW modules minimize memory requirements while computing a selective and invariant representation.

研究の動機と目的

• 深層畳み込みニューラルネットワーク（DCN）と階層的カーネルマシンの間の理論的同等性を確立すること。
• 不変性と選択性を備えたカーネル法と関連付けることで、複雑さにもかかわらずDCNがなぜ一般化性能に優れるかを説明すること。
• i理論を用いて、DCN内の階層的モジュールがどのように不変表現を計算するかを形式的に記述する枠組みを提供すること。
• 訓練済みの階層的重み共有（HW）モジュールが、選択性と不変性を持つ特徴を計算しつつメモリを最小化するという予想を提示すること。

提案手法

• i理論を用いて、DCNの各層を、入力と変換されたテンプレート間の群平均化ドット積を計算する階層的モジュール（HWモジュール）としてモデル化する。
• ドット積に整流非線形性（例：ReLU）を適用し、非線形特徴マップを形成する。
• これらの整流出力の線形結合がカーネル関数と同等であることを示し、ネットワークの正確なカーネルマシン解釈を可能にする。
• 層の出力が正定値カーネル、具体的にはReLU活性化されたドット積の和として表現されることを導出する。
• 径路基底関数およびカーネル法の理論を用いて、DCN層とカーネルマシンの間の同等性を形式化する。
• 階層的訓練済みHWモジュールが、選択性と不変性を持つ特徴表現を達成しつつメモリ使用量を最小化するという予想を提示する。

実験結果

リサーチクエスチョン

• RQ1 深層畳み込みニューラルネットワークは、正確にカーネルマシンの階層として表現可能か？
• RQ2 DCNにおける整流非線形性は、特徴空間におけるカーネル関数とどのように関係するか？
• RQ3 DCNが階層的特徴学習において不変性と選択性を達成する数学的メカニズムは何か？
• RQ4 カーネル理論と群平均化を用いて、DCNの性能と一般化能力を理論的に説明可能か？
• RQ5 重み共有とプーリングは、不変表現を保持しつつメモリ使用量を最小化する役割を果たすか？

主な発見

• ReLU活性化関数とプーリングを用いたDCNは、群平均化された整流非線形性を介してカーネルを計算する階層的カーネルマシンと数学的に同等である。
• DCN層の出力は、ReLU活性化されたドット積の和として表現可能であり、これは正定値カーネル関数を形成する。
• 層内の整流非線形性の線形結合はカーネル関数と同等であり、ネットワークの正確なカーネルマシン解釈を可能にする。
• 理論的解析により、このようなカーネルマシンが、選択性と不変性を持つ表現を計算しつつメモリ使用量を最小化することが示され、予想として形式化されている。
• カーネル中心および係数の勾配更新は、タスク依存のクラスタリングに類似しており、k-meansに類似した効率的な最適化手法の可能性を示唆する。
• 本フレームワークは、DCNがなぜ一般化性能に優れるかを理解する理論的基盤を提供し、その成功がカーネルに基づく不変性と特徴選択と結びついていることを示している。