[論文レビュー] Additive Gaussian Processes Revisited

Xiaoyu Lu, Alexis Boukouvalas+1 more|arXiv (Cornell University)|Jun 20, 2022

Gaussian Processes and Bayesian Inference被引用数 5

ひとこと要約

本稿では、加法的GPモデルにおける同定可能性問題を解消するために、加法的成分同士の直交性を強制する新しいガウス過程カーネル、直交加法的カーネル（OAK）を提案する。関数的ANOVA分解とソボル指標を活用することで、はるかに少ない、低次元の相互作用項を用いて優れた予測性能を達成し、ベンチマークデータセットにおいて最先端の結果を示しつつ、モデルの解釈可能性を維持している。

ABSTRACT

Gaussian Process (GP) models are a class of flexible non-parametric models that have rich representational power. By using a Gaussian process with additive structure, complex responses can be modelled whilst retaining interpretability. Previous work showed that additive Gaussian process models require high-dimensional interaction terms. We propose the orthogonal additive kernel (OAK), which imposes an orthogonality constraint on the additive functions, enabling an identifiable, low-dimensional representation of the functional relationship. We connect the OAK kernel to functional ANOVA decomposition, and show improved convergence rates for sparse computation methods. With only a small number of additive low-dimensional terms, we demonstrate the OAK model achieves similar or better predictive performance compared to black-box models, while retaining interpretability.

研究の動機と目的

• 加法的ガウス過程モデルにおける同定可能性問題に対処すること。これは、和としての成分が一意に定まらないという問題である。
• 高次元の相互作用項を、より簡潔な低次元の加法的関数の集合に置き換えることで、モデルの複雑さを低減すること。
• 機能的成分の直交分解を通じて、解釈可能でありながらも強力な回帰および分類モデルを実現すること。
• OAKカーネルを用いることで、スパースGP推論におけるスケーラビリティと収束速度を向上させること。
• 解析的ソボル指標を用いた、成分の寄与度を測る原理的かつ一貫した手法を提供すること。

提案手法

• Durrandeら（2012）の研究に由来する制約を用いて、加法的関数間の直交性を強制する直交加法的カーネル（OAK）を提案する。
• 関数的ANOVA分解を用いて、直交的で低次元の関数（主効果および相互作用）の和としてGPを表現する。
• ソボル指標を、成分の重要度を測る分散に基づく指標として採用し、OAKフレームワーク下で解析的に取り扱える。
• ニュートン＝ギラールの恒等式を用いて、相互作用項の数が増加しても指数的成長を避ける効率的なカーネル計算を実現する。
• 誘導点を用いたスパースGP推論にOAKを統合し、より良好な固有スペクトル特性を活かして収束を高速化する。
• 変分推論と確率的最適化を組み合わせることで、大規模データセットへのスケーリングを実現する。

実験結果

リサーチクエスチョン

• RQ1 直交性を強制することで、加法的GPモデルにおける予測性能を、より少ない低次元の成分で向上させられるか？
• RQ2 重複する成分を有する加法的GPモデルに見られる同定可能性問題は、直交性の制約によって解消されるか？
• RQ3 OAKカーネル下で、ソボル指標は解析的に計算可能であり、信頼性の高い成分寄与度推定が可能か？
• RQ4 標準的な二乗指数カーネルと比較して、OAKカーネルはスパースGP推論における収束速度を向上させるか？
• RQ5 OAKは、XGBoost やニューラルネットワークといったブラックボックスモデルを凌駆しながら、実世界のデータセットにおいて解釈可能性を維持できるか？

主な発見

• pumadynデータセットにおいて、OAKモデルは元の加法的GPモデルおよび完全な二乗指数GPモデルと同等またはそれ以上の予測性能を達成しており、使用している成分はわずか3つ（1次成分2つ、2次相互作用関数1つ）である。
• pumadynデータセットにおいて、99％の分散がたった3つの項で説明されており、モデルの簡潔さと解釈可能性が顕著に示されている。
• SUSY物理学データセットでは、OAKはドロップアウトを用いたニューラルネットワークベースラインを、1次元成分10個と2次元成分2個のわずかな構成で上回った。
• カスタマーチャンジンデータセットにおいて、OAKはXGBoostを上回りながら、低次元で解釈可能な成分を提供し、ビジネス上の実行可能なインサイトを提示した。
• OAKカーネルは、より良好な固有スペクトル特性を有するため、スパースGP推論における収束速度が向上し、大規模データセットの高速トレーニングを可能にした。
• 分類タスクでは、OAKは複数のベースラインを上回り、平均テスト正解率（0.863）と対数尤度（−0.306）を達成した。20のデータセット全体で中央順位は4.552であった。