[論文レビュー] Variable selection for Gaussian process regression through a sparse projection

Chiwoo Park, David J. Borth+2 more|arXiv (Cornell University)|Aug 24, 2020

Gaussian Processes and Bayesian Inference被引用数 5

ひとこと要約

本稿では、勾配降下を組み込んだ前向き段階的回帰を用いて、スパース射影行列と共分散パラメータを同時に最適化することで、ガウス過程回帰における新しい変数選択手法を提案する。この手法は、ベンチマーク手法と比較して優れた変数選択精度を達成し、大気腐食モデリングにおいて重要な環境要因を的確に同定した。

ABSTRACT

This paper presents a new variable selection approach integrated with Gaussian process (GP) regression. We consider a sparse projection of input variables and a general stationary covariance model that depends on the Euclidean distance between the projected features. The sparse projection matrix is considered as an unknown parameter. We propose a forward stagewise approach with embedded gradient descent steps to co-optimize the parameter with other covariance parameters based on the maximization of a non-convex marginal likelihood function with a concave sparsity penalty, and some convergence properties of the algorithm are provided. The proposed model covers a broader class of stationary covariance functions than the existing automatic relevance determination approaches, and the solution approach is more computationally feasible than the existing MCMC sampling procedures for the automatic relevance parameter estimation with a sparsity prior. The approach is evaluated for a large number of simulated scenarios. The choice of tuning parameters and the accuracy of the parameter estimation are evaluated with the simulation study. In the comparison to some chosen benchmark approaches, the proposed approach has provided a better accuracy in the variable selection. It is applied to an important problem of identifying environmental factors that affect an atmospheric corrosion of metal alloys.

研究の動機と目的

• 高次元の入力変数がガウス過程回帰の予測性能を低下させ、計算コストを増加させるという課題に対処する。
• 応答変数に対して監視されていない可能性がある従来の変数選択および次元削減手法の限界を克服する。
• ガウス過程回帰における変数選択と共分散パラメータ推定を、計算的に効率的な共同最適化フレームワークとして開発する。
• 解釈性と性能が向上した自動関連度決定（ARD）の代替として、スパース射影に基づく手法を提供する。
• シミュレーションデータおよび実世界の大気腐食データセットを用いて、本手法の妥当性と実用的有用性を評価する。

提案手法

• 入力変数のスパース射影を射影行列 V を用いて定式化し、z = Vx と表す。ここで、V は凹型のスパースネスペナルティによってスパースに制約される。
• 射影された特徴量 z 間のユークリッド距離に基づく一般化されたステーショナリーカーネルを用いて共分散関数をモデル化する。
• スパースネス正則化を施した非凸な周辺尤度関数を最大化することで、スパース射影行列 V と他のガウス過程共分散パラメータを同時に最適化する。
• 非凸最適化問題に対処するため、埋め込み勾配降下ステップを有する前向き段階的アルゴリズムを実装する。
• 射影行列におけるスパース解を促進するために、凹型のスパースネスペナルティ（例：SCAD や MCP 型）を用いる。これにより、各射影特徴量に寄与するのは元の変数の部分集合に限定される。
• 提案されたアルゴリズムの理論的収束性を提供し、安定的かつ信頼性のある最適化を保証する。

実験結果

リサーチクエスチョン

• RQ1 スパース射影行列をガウス過程共分散パラメータと同時に最適化することで、変数選択の精度が向上するか？
• RQ2 MCMCに基づくARDや標準的な前向きステップワイズ選択と比較して、本手法の変数選択性能はどのように異なるか？
• RQ3 ガウス過程回帰において入力次元を低減する際、本手法は予測精度を維持または向上させるか？
• RQ4 本手法は、実世界のデータにおいて大気腐食に影響を与える意味のある解釈可能な環境要因を同定できるか？
• RQ5 シミュレーションスタディにおいて、チューニングパラメータの選択や変動するデータ次元に対して、アルゴリズムはどれほど頑健か？

主な発見

• 提案手法は、ほとんどのシミュレーション状況において、ベンチマーク手法よりも優れた変数選択精度を達成し、関連する入力変数を識別する能力に優れていることが示された。
• 大気腐食の事例研究において、27の要因すべてを含むフルモデルと比較して、10個の変数を選択した低次元モデルが優れた性能を示した。MSE は 0.0434（低次元モデル）対 0.0475（フルモデル）、NLPD は -1.0865（低次元モデル）対 -0.6035（フルモデル）であり、予測精度が向上していることが示された。
• 選択された10個の変数（気温、相対湿度、オゾン（O₃）、高周波数インピーダンス、降雨量）は、専門家の知識と整合的であり、本手法の生物学的・物理的解釈可能性を裏付けた。
• 本手法は、腐食の主な駆動要因として気温と湿度を的確に同定し、既存の文献と一致した。
• オゾンとインピーダンスが重要な要因として同定されたことは、腐食科学の先行研究と一致し、本手法の実世界応用における信頼性を強化した。
• 埋め込み勾配降下ステップを有する前向き段階的アプローチは、強いスパースネスペナルティ下でも密度の高い解を避けるのに効果的であり、標準的勾配降下法や準ニュートン法とは対照的であった。