[論文レビュー] Stacked Kernel Network

Shuai Zhang, Jianxin Li+5 more|arXiv (Cornell University)|Nov 25, 2017

Gaussian Processes and Bayesian Inference参考文献 14被引用数 8

ひとこと要約

本稿では、繰り返し応用可能なヒルベルト空間（RKHS）関数の複数層を積み重ね、線形射影を交互に挿入することで階層的非線形表現を学習する、深層カーネル手法であるスタックドカーネルネットワーク（SKN）を提案する。SKNは、非パラメトリック、パラメトリック、ランダムフォーリエ特徴（RFF）の3つの表現を用いて、無限次元のRKHS関数を扱えるようにし、複数のデータセットで最先端の性能を達成した。CIFAR-10ではRFF-SKCNがCNNを上回る優れた精度を示した。

ABSTRACT

Kernel methods are powerful tools to capture nonlinear patterns behind data. They implicitly learn high (even infinite) dimensional nonlinear features in the Reproducing Kernel Hilbert Space (RKHS) while making the computation tractable by leveraging the kernel trick. Classic kernel methods learn a single layer of nonlinear features, whose representational power may be limited. Motivated by recent success of deep neural networks (DNNs) that learn multi-layer hierarchical representations, we propose a Stacked Kernel Network (SKN) that learns a hierarchy of RKHS-based nonlinear features. SKN interleaves several layers of nonlinear transformations (from a linear space to a RKHS) and linear transformations (from a RKHS to a linear space). Similar to DNNs, a SKN is composed of multiple layers of hidden units, but each parameterized by a RKHS function rather than a finite-dimensional vector. We propose three ways to represent the RKHS functions in SKN: (1)nonparametric representation, (2)parametric representation and (3)random Fourier feature representation. Furthermore, we expand SKN into CNN architecture called Stacked Kernel Convolutional Network (SKCN). SKCN learning a hierarchy of RKHS-based nonlinear features by convolutional operation with each filter also parameterized by a RKHS function rather than a finite-dimensional matrix in CNN, which is suitable for image inputs. Experiments on various datasets demonstrate the effectiveness of SKN and SKCN, which outperform the competitive methods.

研究の動機と目的

• 従来の単層カーネル手法の表現能力の限界を克服し、深く階層的な特徴抽出を可能にする。
• 計算上の扱いやすさを保ちながら、複数の非線形変換をRKHSに積み重ねるフレームワークを構築する。
• RKHS関数の3つの異なる表現—非パラメトリック、パラメトリック、ランダムフォーリエ特徴—を用いて、効果的な学習を実現する。
• 視覚認識タスクに適した階層的特徴抽出を可能にする、畳み込みアーキテクチャへの拡張（SKCN）を実現する。
• 多様なデータセットにおいて、競合する深層学習およびカーネル手法と比較して、SKNおよびSKCNの実験的妥当性を検証する。

提案手法

• SKNはL個の隠れ層からなる深層アーキテクチャを構築し、各層は非線形特徴写像φ^(l)と、RKHSから有限次元空間への線形射影W^(l)を関連付ける。
• 各隠れユニットは関数f_k^(l) ∈ H^(l)でパラメータ化され、f_k^(l)(x) = w_k^T φ^(l)(x)として計算され、カーネルトリックを用いる。
• 3つの表現が提案される：(1) レプレイサー定理による非パラメトリック、(2) アンカー・ベクトルaを用いたパラメトリック、(3) f(x) = w^T z(x)を近似するランダムフォーリエ特徴（RFF）。
• バックプロパゲーションを用いて、3つの表現すべてにおいてRKHS関数のエンドツーエンド学習が可能になる。
• 畳み込み型の変種、スタックドカーネル畳み込みネットワーク（SKCN）は、有限次元フィルタをRKHSベースのフィルタに置き換えることで、視覚タスクにおける階層的特徴抽出を可能にする。
• カーネル関数（例：RBF）を用いて入力を無限次元のRKHSに暗黙的にマッピングし、線形射影によってモデルサイズを制御する。

実験結果

リサーチクエスチョン

• RQ1 複数層のRKHSに基づく非線形特徴を積み重ねることで、単層カーネル手法を上回る表現力が得られるか？
• RQ2 無限次元のRKHS関数を、深層ネットワークアーキテクチャ内で効果的にパラメータ化し、学習可能か？
• RQ3 提案されたSKNアーキテクチャは、多様なデータセットにおいて、標準的なDNNやCNNを上回る精度および一般化性能を示すか？
• RQ4 RKHS関数の異なる表現（非パラメトリック、パラメトリック、RFF）は、SKNの性能および学習効率にどのように影響するか？
• RQ5 SKNフレームワークは、画像認識タスクに適した畳み込みアーキテクチャに成功裏に拡張可能か？

主な発見

• RFF-SKCNはドロップアウトを適用した場合に79.06%、適用しない場合に77.77%のテスト精度を達成し、同じ層数のベースラインCNN（74.79%および73.24%）を上回った。
• 2層以上の隠れ層を有するSKNは、常に単層SKNを上回り、深く階層的な特徴抽出の利点を示した。
• 隠れユニット数K（10から2500まで）の変動に対してもSKNは安定した性能を示し、Kに敏感でないことが判明した。これはDNNとは対照的で、Kが大きいと過学習を起こしやすい。
• RFF-SKCNはCNNを上回る精度を達成したが、パラメータ行列が大きいため1イテレーションあたりの処理時間が約2倍にのび、表現力と効率性のトレードオフが顕在化した。
• 非パラメトリックおよびパラメトリック表現は、効果的な学習を可能にした。RFFは大規模なタスクにおけるスケーラブルな近似を提供した。
• 実験により、無限次元のRKHS関数は有限次元フィルタを備えたCNNのフィルタよりも表現力に優れていることが確認され、SKCNにおけるアーキテクチャ的革新の正当性が裏付けられた。