[論文レビュー] Variable selection for Gaussian processes via sensitivity analysis of the posterior predictive distribution

Topi Paananen, Juho Piironen+2 more|Aaltodoc (Aalto University)|Dec 21, 2017

Gaussian Processes and Bayesian Inference被引用数 32

ひとこと要約

本稿では、事後予測分布の感度分析を用いて予測的関連性に基づいて入力変数をランク付けする、ガウス過程モデル向けの2つの新しい変数選択手法を提案する。自動関連性決定（ARD）とは異なり、逆長さスケールに依存せず、高いばらつきと予測適合の不一致を示すが、提案手法のKLおよびVAR手法は、カルバック・ライブララー距離と分散に基づく感度分析を用いて点ごとの関連性推定値を計算し、最小限の計算コストで一貫性があり、予測性能に優れた変数ランクを得る。

ABSTRACT

Variable selection for Gaussian process models is often done using automatic relevance determination, which uses the inverse length-scale parameter of each input variable as a proxy for variable relevance. This implicitly determined relevance has several drawbacks that prevent the selection of optimal input variables in terms of predictive performance. To improve on this, we propose two novel variable selection methods for Gaussian process models that utilize the predictions of a full model in the vicinity of the training points and thereby rank the variables based on their predictive relevance. Our empirical results on synthetic and real world data sets demonstrate improved variable selection compared to automatic relevance determination in terms of variability and predictive performance.

研究の動機と目的

• ガウス過程モデルにおける自動関連性決定（ARD）の限界を解消すること。ARDは変数関連性の代理指標として逆長さスケールを用いるが、実際の予測性能と一致しないことがある。
• 訓練点の周辺における予測感度を直接評価することで、ARDの代替として実用的で計算効率の良い変数関連性の評価手法を開発すること。
• 異なる訓練データセット間での変数関連性ランクの一貫性と信頼性を向上させ、モデルの解釈性を高めること。
• 各訓練点における局所的関連性を評価可能にするために、点ごとの予測的関連性を計算し、入力空間の特定の領域で関連性がある変数を同定できること。
• 予測投影やスパイクアンドスラブ事前分布のような高コストな手法に代わる、計算負荷が軽く、強力な予測性能を維持する代替手法を提供すること。

提案手法

• KL手法は、変数をゼロに固定したバージョンの事後予測分布と元の分布との間のカルバック・ライブララー距離を用いて、その変数を除外した際の情報損失を測定することで、予測的関連性を計算する。
• VAR手法は、変数を削除した場合の事後予測分布の分散を推定することで、その欠落によって生じる予測不確実性を評価し、関連性を推定する。
• 両手法とも、各訓練点で関連性スコアを計算し、グローバル平均を超えて点ごとの変数重要性を評価可能にする。
• これらの手法は、訓練点の周辺におけるモデルの完全な事後分布を活用し、各変数が予測精度にどの程度寄与しているかを推定する。
• グローバルな関連性ランクは、訓練データ全体にわたる点ごとの関連性スコアの平均値から得られ、一貫性と解釈可能性を保証する。
• MCMCベースの代替手法と比較して計算効率が高く、標準的なGP推論のみを必要とするため、実世界の応用に実用的である。

実験結果

リサーチクエスチョン

• RQ1 変数の削除が事後予測分布に与える影響を直接測定することで、ガウス過程モデルにおける予測的関連性をAR D よりも正確に評価できるか？
• RQ2 異なるデータセットにおいて、ARDと提案された感度ベース手法の間で、変数関連性ランクのばらつきはどのように異なるか？
• RQ3 点ごとの関連性推定値は、グローバル平均に隠されている局所的予測的関連性を明らかにできるか？
• RQ4 提案手法は、変数を1〜3個に絞ったサブモデルにおいて、AR D よりも優れた予測性能を示すか？
• RQ5 KL法とVAR法は、計算コストと変数ランクの一貫性の観点から、どのように比較できるか？

主な発見

• 提案されたKLおよびVAR手法は、Housing、Automobile、Crimeなどのデータセットで特に顕著な変動を示すARDとは異なり、異なる訓練データセット間でより一貫した変数関連性ランクを生成する。
• 予測性能の観点から、HousingおよびAutomobileなどのデータセットで、特にARDの変数選択が不安定である場合に、提案手法がAR D よりも優れた性能を示す。
• Concreteデータセットでは、ARDは後続の変数選択で高いばらつきを示すが、提案手法は一貫したランクを維持し、関連性の高い順に変数を整列させることでサブモデルの性能を向上させる。
• KLおよびVAR手法による点ごとの関連性推定値は、局所的予測的関連性を的確に特定でき、例えば真の潜在関数との比較で、入力空間の特定の領域で変数8が顕著に重要であることが確認された。
• KL手法は、事後平均の標準誤差に関する微分と解析的に関連しており、感度と予測的影響の間の原理的つながりを提供する。
• ARDよりわずかに計算コストが増加するものの、提案手法は計算的に実行可能であり、予測投影やMCMCベースのスパイクアンドスラブ事前分布といった代替手法と比較してはるかに安価である。