[論文レビュー] Implicit Kernel Learning

Chunliang Li, Wei-Cheng Chang+3 more|arXiv (Cornell University)|Feb 26, 2019

Generative Adversarial Networks and Image Synthesis被引用数 28

ひとこと要約

本稿では、深層ニューラルネットワークを用いて、シフト不変カーネルのスペクトル分布を暗黙的生成モデルによって学習する、Implicit Kernel Learning (IKL) の手法を提案する。ベース分布からのサンプルを有効なスペクトル特徴へ変換するためのニューラルネットワークを訓練することで、IKLはMMD GANやRandom Kitchen Sinksを用いた教師あり学習において、ヒューリスティック法や既存の最先端手法を凌駆する優れた性能を示すデータ駆動型カーネル学習を可能にする。

ABSTRACT

Kernels are powerful and versatile tools in machine learning and statistics. Although the notion of universal kernels and characteristic kernels has been studied, kernel selection still greatly influences the empirical performance. While learning the kernel in a data driven way has been investigated, in this paper we explore learning the spectral distribution of kernel via implicit generative models parametrized by deep neural networks. We called our method Implicit Kernel Learning (IKL). The proposed framework is simple to train and inference is performed via sampling random Fourier features. We investigate two applications of the proposed IKL as examples, including generative adversarial networks with MMD (MMD GAN) and standard supervised learning. Empirically, MMD GAN with IKL outperforms vanilla predefined kernels on both image and text generation benchmarks; using IKL with Random Kitchen Sinks also leads to substantial improvement over existing state-of-the-art kernel learning algorithms on popular supervised learning benchmarks. Theory and conditions for using IKL in both applications are also studied as well as connections to previous state-of-the-art methods.

研究の動機と目的

• カーネル手法におけるカーネル選択の持続的課題に取り組み、実験的性能に顕著な影響を与えること。
• 事前に定義されたまたはパラメトリックなモデルを超えた、データ駆動型で柔軟なカーネルスペクトル分布の学習フレームワークを構築すること。
• 深層ニューラルネットワークによるスペクトル特徴の暗黙的生成モデリングを通じて、効果的なカーネル学習を可能にすること。
• 提案手法がカーネル学習応用において理論的整合性と一般化保証を有することを提供すること。
• IKLの有効性を、MMD GAN やRandom Kitchen Sinksを用いた教師あり学習という2つの主要な応用分野で示すこと。

提案手法

• IKL は、ベース分布 $ \mathbb{P}(\nu) $ からのサンプルを有効なスペクトル特徴へ写像するニューラル変換 $ h_{\psi} $ を学習することで、シフト不変カーネルのスペクトル分布をモデル化する。
• カーネルは $ k_{\psi}(x,x') = \mathbb{E}_{\omega \sim \mathbb{P}_k}[e^{i\omega^\top(x-x')}] $ によって暗黙的に定義され、ここで $ \omega = h_{\psi}(\nu) $ かつ $ \nu \sim \mathbb{P}(\nu) $ である。
• 推論は、学習された変換からのランダムフーリエ特徴のサンプリングにより実行され、効率的なカーネル近似が可能になる。
• スペクトル分布の明示的密度モデリングを必要とせず、MMD やカーネル整合性などのタスク固有の目的関数に基づく確率的勾配降下法 (SGD) で訓練される。
• 理論的分析により、ラデマッハ複雑度を用いた一貫性と一般化バウンドが確立され、仮説クラスの複雑さとランダム特徴の数に依存することが示された。
• 従来のカーネル学習技術（例：カーネル埋め込みや混合モデル）と互換性があり、ハイブリッド手法の構築を可能にする。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークによるスペクトル分布の暗黙的生成モデリングは、事前に定義されたまたはパラメトリックなスペクトルモデルに比べ、より効果的なカーネル学習を可能にするか？
• RQ2 IKL は、画像およびテキスト生成のための MMD GAN における生成モデリングタスクの性能を向上させるか？
• RQ3 IKL は、Random Kitchen Sinks を用いた教師あり学習を強化できるか？ また、最先端のカーネル学習手法と比較してどうなるか？
• RQ4 カーネル学習応用において、IKL の一貫性と一般化に対する理論的保証はどのように確立できるか？
• RQ5 スペクトル特徴の変換関数を学習することの柔軟性は、ランダム特徴の直接最適化と比較してどのように異なるか？

主な発見

• IKL は、画像およびテキスト生成ベンチマークにおける MMD GAN において、アンサンブルベースの事前定義カーネルを上回り、サンプルの質と多様性の両面で向上を示した。
• Random Kitchen Sinks を用いた教師あり学習において、IKL は標準ベンチマークで既存の最先端のカーネル学習アルゴリズムを著しく上回った。
• 理論的分析により、IKL の一般化誤差は仮説クラスのラデマッハ複雑度とランダム特徴の数に依存し、緩い条件下でも一貫性保証が得られることを示した。
• SGD を用いたエンドツーエンドの学習でありながら、単純さと効率性を保ちながら、直接的にランダム特徴やスペクトル密度を最適化する先行研究と同等またはそれ以上の性能を達成した。
• IKL は、スペクトルサンプリングプロセスを暗黙的に学習することで、明示的な密度モデリングを必要としないが、より強力で適応可能なカーネルを可能にする新しいパラダイムを実現した。
• 従来のカーネル学習技術（例：カーネル埋め込みや混合モデル）と互換性があるため、広範な適用可能性と統合の可能性が示唆された。