[論文レビュー] Differentiable Compositional Kernel Learning for Gaussian Processes

Shengyang Sun, Guodong Zhang+4 more|arXiv (Cornell University)|Jun 12, 2018

Gaussian Processes and Bayesian Inference参考文献 27被引用数 29

ひとこと要約

この論文では、勾配降下によるエンドツーエンド学習を可能にする微分可能で構成可能なカーネル族であるニューラルカーネルネットワーク（NKN）を紹介する。有効なカーネル構成ルールに基づいてネットワークを構造化することで、NKNは定常カーネルの普遍近似を達成し、時系列、テクスチャ、ベイズ最適化のタスクにおいて強力なパターン発見と外挿を実現し、スペクトルミックスチャージやディープカーネル学習を含む先行手法を上回る性能を示した。

ABSTRACT

The generalization properties of Gaussian processes depend heavily on the choice of kernel, and this choice remains a dark art. We present the Neural Kernel Network (NKN), a flexible family of kernels represented by a neural network. The NKN architecture is based on the composition rules for kernels, so that each unit of the network corresponds to a valid kernel. It can compactly approximate compositional kernel structures such as those used by the Automatic Statistician (Lloyd et al., 2014), but because the architecture is differentiable, it is end-to-end trainable with gradient-based optimization. We show that the NKN is universal for the class of stationary kernels. Empirically we demonstrate pattern discovery and extrapolation abilities of NKN on several tasks that depend crucially on identifying the underlying structure, including time series and texture extrapolation, as well as Bayesian optimization.

研究の動機と目的

• ガウス過程におけるカーネル選択の『暗黒の芸術』に取り組み、一般化性能と解釈可能性に顕著な影響を与えること。
• 複雑な構成的カーネル構造をコンactに表現できる柔軟で微分可能なカーネルアーキテクチャの開発。
• カーネル文法アプローチにおける離散的探索の非効率性を克服し、勾配ベース最適化を用いたカーネル関数のエンドツーエンド学習の実現。
• 提案されたアーキテクチャが、幅が限られている場合でも定常カーネルの普遍近似を達成できることの証明。
• 構造的インダクティブバイアスが不可欠なパターン発見および外挿タスクにおける手法の評価。

提案手法

• NKNは、各レイヤーのユニットが有効なカーネルに対応するニューラルネットワークであり、標準的なカーネル構成ルール（例：加算、乗算、線形結合）を用いて構築される。
• 原始的カーネル（例：RBF、周期的、線形、RQ）を入力ユニットとして用い、微分可能な構成により高レベルのカーネルを形成する。
• マージナル尤度を目的関数として勾配降下により訓練することで、カーネル構造のエンドツーエンド最適化が可能になる。
• 複素数値の間接的表現をサポートし、最終出力でのみ実数部をとることで、モデルのコンact性と表現力が向上する。
• 大規模データセットでは、計算コストをO(N³)からO(NM²)に削減するため、変分自由エネルギー（VFE）を用いた変分推論が用いられる。
• テクスチャ外挿では、欠損グリッドポイントを近似的にゼロに近いノイズを持つ潜在観測値としてモデル化し、プリコンディショニング付き共役勾配法を用いて効率的な推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 微分可能なニューラルネットワークアーキテクチャは、ガウス過程における複雑で構成的なカーネル構造を効果的に表現・学習できるか？
• RQ2 提案されたニューラルカーネルネットワーク（NKN）は、定常カーネルのクラスに対して普遍近似を達成するか？
• RQ3 NKNは、従来のカーネル学習手法よりも、時系列およびテクスチャデータにおける潜在的な関数的パターンの発見と外挿をより効果的に行えるか？
• RQ4 複素数値の間接的カーネルの使用は、モデルのコンパクト性と性能をどのように向上させるか？
• RQ5 NKNは、構造的かつ解釈可能なカーネルのインダクティブバイアスを学習することで、ベイズ最適化におけるサンプル効率を向上させられるか？

主な発見

• NKNは回帰ベンチマークで最先端の性能を達成し、標準的なRBFやスペクトルミックスチャージカーネルを上回った。
• 時系列およびテクスチャ外挿タスクにおいて、NKNは周期性や平方根スケーリングといった複雑なパターンを効果的に発見・一般化でき、合成2次元関数外挿の例でその有効性が示された。
• 特に非加法的関数（例：変換されたStyblinski-Tang）において、NKNは高いサンプル効率を示し、入力構造の相関を学習できる能力のおかげである。
• 幅が限られている場合でも、NKNはフィードフォワードネットワークにおける普遍近似と類似した形で、定常カーネルの普遍近似を達成した。
• 複素数値の間接的表現を用いることで、同じカーネル関数を表現するためのパラメータ数が顕著に削減され、モデルのコンパクト性が向上した。