[論文レビュー] Additive Gaussian Processes

David Duvenaud, Hannes Nickisch+1 more|arXiv (Cornell University)|Dec 19, 2011

Gaussian Processes and Bayesian Inference参考文献 15被引用数 203

ひとこと要約

この論文は、すべての順序の柔軟で構造的な交互作用を可能にする、一般化線形モデル（GAMs）と標準の平方指数ガウス過程（SE-GP）モデルを一般化する新しいGPモデル、Additive Gaussian Processes（AGP）を紹介する。この手法は、指数関数的に増加する交互作用項をO(D)のハイパーパrameterのみで効率的に計算可能であり、予測性能が最先端水準に達するとともに、学習された交互作用順序の分散によって解釈可能性が向上する。

ABSTRACT

We introduce a Gaussian process model of functions which are additive. An additive function is one which decomposes into a sum of low-dimensional functions, each depending on only a subset of the input variables. Additive GPs generalize both Generalized Additive Models, and the standard GP models which use squared-exponential kernels. Hyperparameter learning in this model can be seen as Bayesian Hierarchical Kernel Learning (HKL). We introduce an expressive but tractable parameterization of the kernel function, which allows efficient evaluation of all input interaction terms, whose number is exponential in the input dimension. The additional structure discoverable by this model results in increased interpretability, as well as state-of-the-art predictive power in regression tasks.

研究の動機と目的

• 入力変数の低次および高次相互作用を、構造的かつ解釈可能な形で捉えるガウス過程モデルを開発すること。
• GAM（一次相互作用）と標準のSE-GP（全順序相互作用）を統合的に統一するフレームワークに一般化すること。
• 指数関数的に増加する相互作用項の数にもかかわらず、カーネルハイパーパrameterと相互作用順序の分散の学習を効率的に行えるようにすること。
• 実データセットにおいてどの順序の相互作用が重要であるかを特定することで、モデルの解釈可能性を向上させること。
• 計算の実行可能性を保ちながら、既存手法（HKLや標準SE-GP）を上回る予測精度を達成すること。

提案手法

• モデルは、一次相互作用からD次相互作用までのすべての可能な相互作用順序にわたる加法的項から成るカーネル関数を用いる。
• 各相互作用順序は、分散ハイパーパrameter σ²ₙ と、一変量の基本カーネル kᵢ(xᵢ, x′ᵢ) の積によってパラメータ化される。
• すべての D choose n 項を明示的に合算するのを避ける再帰的分解により、カーネルが効率的に計算される。
• ハイパーパラメータの学習は、周辺尤度の最大化により実行され、ベイジアン階層的カーネル学習（HKL）が可能になる。
• EPまたはラプラス近似を用いたGP推論により、回帰および分類の両方に対応する。
• 定数の平均関数がカーネルと共にフィッティングされ、実用的使用を想定した効率的なコード実装が行われている。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程モデルは、すべての順序の構造的で整合性のある相互作用を効率的に捉えられ、計算的に実行可能であるか？
• RQ2 相互作用順序の分散を学習可能とすることで、標準のGPモデルと比較して予測性能が向上するか？
• RQ3 予測精度およびハイパーパラメータ学習の観点で、提案手法は階層的カーネル学習（HKL）と比べてどのように異なるか？
• RQ4 実世界の回帰タスクにおいて、加法的構造がどの程度モデルの解釈可能性を向上させるか？
• RQ5 低次相互作用パターンを学習することで、未知の入力組み合わせへの一般化性能が向上するか？

主な発見

• Additive GPは、低次相互作用構造を示すデータセットにおいて、回帰タスクで最先端の性能を達成し、GP-GAMおよびSE-GPモデルを上回った。
• pumadyn-8nhおよびhousingデータセットでは、それぞれ0.316および0.102の最小二乗誤差を達成し、GP-GAMおよびHKLを顕著に上回った。
• 負の対数尤度（NLL）の比較において、すべてのデータセットでSE-GPおよびGP-GAMと同等またはそれを上回り、bachおよびhousingデータセットで最小のNLLを記録した。
• モデルは、他の手法と比べて有意に悪い性能を示すことはなく、一部のケースでは顕著に優れた性能を示しており、ロバストネスと優れた一般化性能を示した。
• 分類タスクでは、breastおよびsonarデータセットで最小の誤差率を達成し、1つのデータセットを除いてすべてのデータセットで最小のNLLを記録し、優れた識別性能を示した。
• HKLと同等の性能を示したが、予測精度において優れており、HKLがハイパーパラメータチューニングに交差検証に依存するのを回避した。