[論文レビュー] Learning Infinite-Layer Networks: Without the Kernel Trick

Roi Livni, Daniel Carmon+1 more|arXiv (Cornell University)|Jun 16, 2016

Advanced Bandit Algorithms Research参考文献 33被引用数 3

ひとこと要約

本稿では、カーネルトリックを回避するためのランダム特徴量サンプリングを用いた、無限層ネットワーク（ILNs）のオンライン学習アルゴリズムを提示する。この手法は、カーネル法と同等のレグルレーションバウンドを達成する。主な貢献は、カーネルが解析的に計算できない場合でも、ランダム特徴量が効率的な学習に十分であることを証明することであり、カーネルベースの手法と同等のサンプル複雑度を達成する。

ABSTRACT

Infinite--Layer Networks (ILN) have recently been proposed as an architecture that mimics neural networks while enjoying some of the advantages of kernel methods. ILN are networks that integrate over infinitely many nodes within a single hidden layer. It has been demonstrated by several authors that the problem of learning ILN can be reduced to the kernel trick, implying that whenever a certain integral can be computed analytically they are efficiently learnable. In this work we give an online algorithm for ILN, which avoids the kernel trick assumption. More generally and of independent interest, we show that kernel methods in general can be exploited even when the kernel cannot be efficiently computed but can only be estimated via sampling. We provide a regret analysis for our algorithm, showing that it matches the sample complexity of methods which have access to kernel values. Thus, our method is the first to demonstrate that the kernel trick is not necessary as such, and random features suffice to obtain comparable performance.

研究の動機と目的

• カーネルトリックに依存しない、無限層ネットワーク（ILNs）のための効率的な学習アルゴリズムを開発すること。
• 正確なカーネル計算を必要とせず、ランダム特徴量サンプリングがILN学習において性能を維持するのに十分であることを示すこと。
• カーネルベースの手法と同等の理論的レグルレーションバウンドを確立すること。
• ランダム特徴量がILN学習において最適なサンプル複雑度を達成するために十分であることを実証すること。

提案手法

• アルゴリズムは、事前測度μからパラメータwをランダムにサンプリングすることで、カーネル関数の不偏推定値を用いたオンライン確率的勾配降下法を用いる。
• 各サンプルに対してψ(x;w)を計算することで、ILN定式化における積分のランダム特徴量近似を構築する。
• 特徴量ノルムの有界性と勾配更新の安定性を保証するための正規化スキームを採用する。
• アルゴリズムがO(1/√T)のレグルレーションを達成することを示すレグルレーション解析を実施し、教師あり学習の理論的下界と一致することを示す。
• 予測誤差に基づいて重みベクトルf_tを動的に調整し、計算効率を維持するためのプルーニングステップを導入する。
• 有限の特徴量サンプリングからの推定誤差を制御するために、集中不等式を用いて理論的バウンドを導出する。

実験結果

リサーチクエスチョン

• RQ1 カーネルトリックに依存せずに、無限層ネットワークを効率的に学習できるか？
• RQ2 ランダム特徴量サンプリングが、ILN学習における最適なレグルレーションとサンプル複雑度を達成するために十分か？
• RQ3 サンプリングされた特徴量の数とILNsの一般化性能の関係は何か？
• RQ4 ILNのオンライン学習アルゴリズムは、バッチカーネル法の理論的性能に達することができるか？

主な発見

• 提案されたアルゴリズムは、O(1/√T)のレグルレーションバウンドを達成し、教師あり学習の理論的下界と一致する。
• アルゴリズムは、Õ(T²)回のランダム特徴量生成関数の呼び出しを必要とし、これはバッチ法におけるカーネル行列計算のコストと同等である。
• カーネルが解析的に計算できない場合でも、カーネルベースの手法と同等の性能を維持する。
• 理論的解析により、ランダム特徴量がカーネルの不偏推定値を提供し、最適なサンプル複雑度で収束を可能にすることが示された。
• 集中不等式によるバウンドにより、特徴量ノルムが有界で勾配分散が制御されている場合に、アルゴリズムの性能が頑健であることが示された。
• ILN学習における既存のランダム特徴量アプローチに比べ、サンプル複雑度と表現力の両面で改善が見られた。