[論文レビュー] Deep Radial Kernel Networks: Approximating Radially Symmetric Functions with Deep Networks

Brendan McCane, Lech Szymanski|arXiv (Cornell University)|Mar 9, 2017

Gaussian Processes and Bayesian Inference参考文献 7被引用数 10

ひとこと要約

本稿では、理論的裏付けを持つ深層アーキテクチャであるDeep Radial Kernel Networks（DRKN）を提案する。この手法は、構築可能な折りたたみ機構を用いて、特にガウスカーネルSVMを効率的に近似する。標準的なRBFネットワークを上回り、最適化設定以外のハイパーパrameterチューニングが不要なエンドツーエンドのバックプロパゲーション訓練により、ベースラインSVMを上回ることも多い。

ABSTRACT

We prove that a particular deep network architecture is more efficient at approximating radially symmetric functions than the best known 2 or 3 layer networks. We use this architecture to approximate Gaussian kernel SVMs, and subsequently improve upon them with further training. The architecture and initial weights of the Deep Radial Kernel Network are completely specified by the SVM and therefore sidesteps the problem of empirically choosing an appropriate deep network architecture.

研究の動機と目的

• 深層ネットワークが径数対称関数に対して浅層ネットワークを上回る理由を理論的に解明すること。
• SVMに基づく決定的構築法を提供することで、深層ネットワークアーキテクチャの設計における実験的困難を克服すること。
• 微分可能訓練を用いてガウスカーネルSVMを改善しつつ、カーネル構造を保持する手法を開発すること。
• より深いネットワークが、浅層ネットワークと比較して、径数関数をはるかに少ないニューロン数で近似できることを示すこと。
• 深層ネットワークの表現力に関する理論的知見を、カーネル法や分類への実用的応用と結びつけること。

提案手法

• 各層で入力体積を半分にする再帰的空間折りたたみ変換に基づく深層ネットワークアーキテクチャを構築する。
• ReLU活性化関数を用いて、径数対称性を保持し、径数関数の効率的近似を可能にする折りたたみ操作を実装する。
• 事前に訓練されたガウスカーネルSVMのサポートベクターとカーネルパラメータを用いてネットワークを初期化し、カーネル関数への直接的なマッピングを保証する。
• 折りたたみReLU層の合成により径数カーネル関数を近似し、カーネルの挙動を模倣する深層ネットワークを形成する。
• バックプロパゲーションを用いてエンドツーエンドで全ネットワークを訓練し、元のSVMを上回る一般化性能を向上させるためのカーネルパラメータを微調整する。
• 比較のためのベースラインとして、SVMと同一に初期化されたがすべての重みが学習可能なRBFネットワークを用いる。

実験結果

リサーチクエスチョン

• RQ1 理論的に、浅層ネットワークよりも効率的に径数対称関数を近似できる深層ネットワークアーキテクチャを構築できるか？
• RQ2 サポートベクターとカーネル幅のSVMパラメータから構築された深層ネットワークが、エンドツーエンド訓練により元のSVMを上回るか？
• RQ3 2層または3層ネットワークと比較して、より深いアーキテクチャが径数関数を近似する際に、理論的にどのような利点を有するか？
• RQ4 折りたたみ機構は、より少ないニューロン数で径数関数の近似をどの程度効率的に可能にするか？
• RQ5 DRKNの性能向上は、重みの適応によるものか、単にネットワーク構造そのものによるものか？

主な発見

• 提案されたDRKNアーキテクチャは、径数対称関数を近似するにあたり、EldanとShamir（2016）の3層構成を上回るニューロン数の新しい上限を達成した。
• 8つの標準データセットにおいて、DRKNは元のSVMを上回った3件、やや向上した2件、同等の3件を示した。一方、学習可能なRBFネットワークは元のSVMと同等の性能にとどまった。
• covtypeデータセットではトレーニングの異常が観察されたが、おそらく最適化ノイズに起因し、最終的な性能への影響は最小限に抑えられた。
• 最適化設定以外の追加ハイパーパrameterチューニングが不要であるため、標準SVMの即時代替として利用可能である。
• ネットワークサイズが大きいため、トレーニングが遅くなる可能性があるが、Core Vector Machine や SimpleSVM などのスケーラブルなSVM変種とも互換性がある。
• 結果から、性能向上は単にアーキテクチャの深さによるものではなく、カーネル構造の微分可能微調整に起因していると考えられる。