[論文レビュー] Learning with Hierarchical Gaussian Kernels

Ingo Steinwart, Philipp Thomann+1 more|arXiv (Cornell University)|Dec 2, 2016

Gaussian Processes and Bayesian Inference参考文献 3被引用数 10

ひとこと要約

本稿では、階層的ガウスカーネル—繰り返し重み付きガウスカーネルの和として構成されるもの—を導入し、深層ニューラルネットワークのアーキテクチャを模倣しながらも、カーネル法の統計的利点を保った。この手法は、SVMにおける普遍的近似および普遍的一致性を達成し、標準SVM、ランダムフォレスト、階層的カーネル学習、深層ニューラルネットワークを含む複数のベンチマークで、特に小規模な構成と最小限のハイパーパrameterチューニングの下で優れた性能を発揮した。

ABSTRACT

We investigate iterated compositions of weighted sums of Gaussian kernels and provide an interpretation of the construction that shows some similarities with the architectures of deep neural networks. On the theoretical side, we show that these kernels are universal and that SVMs using these kernels are universally consistent. We further describe a parameter optimization method for the kernel parameters and empirically compare this method to SVMs, random forests, a multiple kernel learning approach, and to some deep neural networks.

研究の動機と目的

• カーネル法と深層ニューラルネットワークの間のギャップを埋めるために、階層的特徴抽象化を可能にするカーネルベースのアーキテクチャを設計すること。
• 統計的一致性を維持し、ユーザー依存のハイパーパrameterチューニングを低減する理論的根拠に基づいた普遍的カーネル構築法を提供すること。
• 階層的カーネル構造のための実用的なパラメータ最適化手法を開発すること。
• 多様なデータセットにおいて、SVM、ランダムフォレスト、階層的カーネル学習、深層ニューラルネットワークと比較して、本手法の実験的妥当性を検証すること。

提案手法

• 本手法は、各層が直前の層の出力を入力とする、繰り返し重み付きガウスカーネルの和として構成される階層的ガウスカーネルを構築する。
• 各カーネル層は、学習可能な帯域幅と重みを持つガウスカーネルの重み付き和を用い、深層ネットワークに類似した階層的特徴抽象化を可能にする。
• 理論的分析により、得られるカーネル族が普遍的であり、かつこのカーネルを用いたSVMが普遍的一致性を有することを証明した。
• 交差検証を介して、帯域幅と重みを含むカーネルハイパーパramータを最適化する勾配ベースのパラメータ最適化アルゴリズムを提案した。
• 計算負荷の高い学習を処理するため、倍精度演算と分散計算を用いて、15のUCIおよびLIBSVMデータセットで実装した。
• 実験では、各データセットごとに30回のランダムな訓練・テスト分割を用いて、本手法とSVM、ランダムフォレスト、HKL、深層ニューラルネットワークを比較した。

実験結果

リサーチクエスチョン

• RQ1 重み付きガウスカーネルの繰り返し合成は、学習における普遍的近似および普遍的一致性を達成できるか？
• RQ2 階層的ガウスカーネルの性能は、実世界のデータセットにおいて、標準SVM、ランダムフォレスト、深層ニューラルネットワークと比べてどの程度優れているか？
• RQ3 階層的カーネル構造は、既存の複数カーネル学習や深層ネットワーク手法と比較して、一般化性能をどの程度向上できるか？
• RQ4 提案されたパラメータ最適化手法は、手動の介入なしにカーネルハイパーパramータを効果的にチューニングできるか？

主な発見

• 提案された階層的ガウスカーネル手法は、15のデータセットのうち14で1位または2位を達成し、すべてのデータセットでSVMを上回った。また、ランダムフォレストや深層ニューラルネットワークに対しても一貫して優れた性能を発揮した。
• 5つのデータセットでは、次善のアルゴリズムと比較して平均リスクで5%以上の改善を達成したが、ランダムフォレストでは3つ、深層ニューラルネットワークでは1つにとどまった。
• 本手法は、最良のアルゴリズムより10%以内の性能にとどまったデータセットが4つにとどまったが、ランダムフォレストでは5つ、深層ニューラルネットワークでは9つにのぼり、より安定した性能を示した。
• 本手法は、[1]で提示された階層的カーネル学習（HKL）手法を上回った。HKL手法は、どのデータセットでも上位2位にランクインしなかったことから、その手法の設計的限界が示された。
• 平均81分の長時間のトレーニング時間を要したが、深層ニューラルネットワーク（平均45分、単精度演算）を上回る優れた性能を達成した。
• 結果から、階層的カーネル構造が、特に特徴抽象化が必要な複雑なデータセットに対して強いインダクティブバイアスを提供し、最小限のチューニングで良好な一般化性能を発揮することが示された。