[論文レビュー] A representer theorem for deep kernel learning

Bastian Bohn, Michael Griebel+1 more|arXiv (Cornell University)|Sep 29, 2017

Model Reduction and Neural Networks被引用数 3

ひとこと要約

本稿は、深層カーネル学習における代表者定理を確立し、多層カーネルネットワークにおける非線形で無限次元の最小化問題の最適解が、データの有限次元非線形関数として表現可能であることを証明する。主な貢献は、標準的な非線形最適化アルゴリズムを深層カーネルモデルに適用することを可能にする理論的基盤を提供することであり、深層学習および多層複数カーネル学習手法への直接的な応用が可能である。

ABSTRACT

In this paper we provide a finite-sample and an infinite-sample representer theorem for the concatenation of (linear combinations of) kernel functions of reproducing kernel Hilbert spaces. These results serve as mathematical foundation for the analysis of machine learning algorithms based on compositions of functions. As a direct consequence in the finite-sample case, the corresponding infinite-dimensional minimization problems can be recast into (nonlinear) finite-dimensional minimization problems, which can be tackled with nonlinear optimization algorithms. Moreover, we show how concatenated machine learning problems can be reformulated as neural networks and how our representer theorem applies to a broad class of state-of-the-art deep learning methods.

研究の動機と目的

• 深層カーネル学習および多層複数カーネル学習（MLMKL）手法の理論的枠組みの欠如に対処すること。
• 元来単層カーネル法に適用されていた古典的代表者定理を、深層的かつ連結されたカーネルアーキテクチャに拡張すること。
• 深層カーネルネットワークにおける無限次元最適化問題を有限次元問題に還元する数学的基盤を提供すること。
• 代表者定理が、深層SVMや学習可能カーネルを備えたニューラルネットワークを含む最先端の深層学習モデルに適用可能であることを示すこと。
• 有限次元解表現の存在を証明することで、深層カーネルモデルの学習に標準的な非線形最適化技術を適用可能にする。

提案手法

• 任意の損失関数と正則化子を用いて、再生核ヒルベルト空間（RKHS）における最適連結近似問題を形式化する。
• 訓練データにおけるカーネル評価に基づく有限次元表現を有する、多層カーネルネットワークの代表者定理を導出する。これは、目的関数の臨界点がそのような表現を有することを証明することに依存する。
• 有限標本および無限標本の両設定に定理を適用し、解が入力点におけるカーネル関数によって張られる有限次元部分空間に存在することを示す。
• 積分表現およびRKHSカーネルの再現性を用いて、解をカーネル関数の重み付き和として表現し、重みは損失関数とデータ分布によって決定される。
• 損失関数およびその導関数の可積分性と微分可能性を保証する条件を確立し、深層アーキテクチャにおける代表者定理の有効性を保証する。
• カーネルの合成を階層的特徴学習メカニズムとして解釈することで、導出された解構造が深層ニューラルネットワークおよび深層SVMへ自然に一般化されることを示す。

実験結果

リサーチクエスチョン

• RQ1 複数の層にわたるカーネル関数で構成される深層カーネル学習モデルに対して、代表者定理を確立できるか？
• RQ2 深層カーネルネットワークにおける無限次元最小化問題の解が、有限次元部分空間に表現可能となる条件は何か？
• RQ3 提案された代表者定理は、単層カーネル法の古典的結果を多層アーキテクチャにどのように拡張するか？
• RQ4 この定理は、標準的な非線形最適化アルゴリズムを深層カーネルモデルに適用可能にする方法は何か？
• RQ5 深層カーネル学習、多層複数カーネル学習（MLMKL）、および深層ニューラルネットワークの理論的関係は何か？

主な発見

• 本稿は、有限標本および無限標本の両方における深層カーネル学習の代表者定理を証明し、最小化問題の最適解が訓練データの有限次元非線形関数として表現可能であることを示している。
• 解構造により、元の無限次元最適化問題が有限次元問題に再定式化可能となり、標準的な非線形最適化技術の適用が可能になる。
• 解は、深層ニューラルネットワークや深層SVM（カーネル関数の合成と解釈される場合）を含む広範なクラスの深層学習モデルに適用可能である。
• 各層の解は、カーネル関数と損失関数の勾配を含む積分として表現され、数値計算のための離散化が可能である。
• 証明は、損失関数およびその導関数の可積分性と微分可能性に依存しており、チェインルールおよび支配収束定理を用いて境界を導出する。
• 結果として、[9]におけるRLS2手法が非線形外側カーネルに一般化され、より高い柔軟性と近似能力を有する多層カーネル学習の理論的基盤が提供される。