[論文レビュー] Latent space projection predictive inference

Alejandro Catalina, Paul‐Christian Bürkner+1 more|arXiv (Cornell University)|Sep 10, 2021

Gaussian Processes and Bayesian Inference参考文献 37被引用数 6

ひとこと要約

本稿では、ベルヌーイ、ポアソン、生存時間モデルなど、指数型分布族に属さないベイジアンモデルにおける安定的で効率的な変数選択および構造選択を可能にする、潜在空間への射影に基づく予測インフェレンス手法を提案する。参照モデルの事後分布を潜在予測子空間に射影することにより、元のモデル構造と予測不確実性を保持しつつ、従来の手法に比べて変数選択の精度と計算速度が優れている。特に非ガウス型および複雑な階層モデルにおいて顕著な性能向上を示す。

ABSTRACT

Given a reference model that includes all the available variables, projection predictive inference replaces its posterior with a constrained projection including only a subset of all variables. We extend projection predictive inference to enable computationally efficient variable and structure selection in models outside the exponential family. By adopting a latent space projection predictive perspective we are able to: 1) propose a unified and general framework to do variable selection in complex models while fully honouring the original model structure, 2) properly identify relevant structure and retain posterior uncertainties from the original model, and 3) provide an improved approach also for non-Gaussian models in the exponential family. We demonstrate the superior performance of our approach by thoroughly testing and comparing it against popular variable selection approaches in a wide range of settings, including realistic data sets. Our results show that our approach successfully recovers relevant terms and model structure in complex models, selecting less variables than competing approaches for realistic datasets.

研究の動機と目的

• ベルヌーイ、ポアソン、生存時間モデルなど、指数型分布族に属さないモデルにおける、強固な変数選択および構造選択手法の不足に取り組む。
• 指数型分布族の仮定に依存する従来の射影予測インフェレンスには、非ガウス型設定において収束せず、安定性に欠ける問題があるため、それを克服する。
• 変数選択の過程で元のモデルの構造と事後不確実性を保持する統一的フレームワークを構築する。
• 標準的な射影手法が収束や不安定性の問題を抱える非ガウス型指数型分布族モデル（例：ベルヌーイ、ポアソン）において、性能を向上させる。
• 計算的に効率的で、情報理論的に正当化された手法を、階層的および非線形構造を含む複雑なモデルに適用可能であるようにする。

提案手法

• 射影予測インフェレンスを再定式化し、応答空間ではなく、潜在予測子空間 $ p( ilde{oldsymbol{ u}} \to \tilde{oldsymbol{ u}}_{\bot}) $ における参照モデルと射影モデルの予測分布間のカルバック・ライブララー距離を最小化する。
• 射影のコア空間として、$ \boldsymbol{\theta} $ を線形予測子、$ g $ を逆リンク関数とする、潜在予測子 $ \boldsymbol{\nu} = g^{-1}(\boldsymbol{\theta}) $ を用いる。
• 潜在予測分布 $ p(\tilde{\boldsymbol{\nu}} \to \tilde{\boldsymbol{\nu}}_{\bot}) $ を正規分布で近似することで、閉形式解が得られ、計算が高速化される。
• 2段階の最適化を適用：まず、予測性能を保持する制約付き射影により、事後分布のサンプル $ \boldsymbol{\nu}_*^{(s)} $ を低次元の潜在空間に射影する。
• 反復的重み付け法や閉形式解（例：PIRLS）を潜在空間で用いることで、元の応答空間での収束問題を回避し、効率的なモデルパラメータ推定を実現する。
• 潜在空間が正規性から著しく逸脱している場合を検出するための診断を統合し、そのような状況では性能低下の可能性をアラートする。

実験結果

リサーチクエスチョン

• RQ1 射影予測インフェレンスをベルヌーイ、ポアソン、生存時間モデルなど、指数型分布族に属さないモデルに一般化することは可能か？ また、その際、元のモデル構造と不確実性を保持できるか？
• RQ2 応答空間ではなく、潜在予測子空間に射影することで、非ガウス型モデルにおいて、従来の応答空間射影に比べてより安定的かつ正確な変数選択が達成できるか？
• RQ3 潜在空間アプローチは、projpred や Lasso などの既存手法と比較して、計算効率および変数選択の正確性において優れているか？ 特に高次元または小標本設定においては？
• RQ4 階層モデルにおいて、複雑なリンク関数やグループレベル効果を含む場合（例：絶滅危惧種の繁殖予測）、潜在空間手法は収束性と安定性を向上できるか？
• RQ5 潜在空間の正規近似が性能に与える影響はどの程度か？ また、この仮定が崩れる場合を信頼性高く検出できる診断は可能か？

主な発見

• 潜在空間射影法は、個体レベルのランダム効果を伴う階層的ベルヌーイモデルにおいて、元の projpred フレームワークに比べて優れた予測性能を達成しており、特に元の手法が収束に失敗する状況でも有効である。
• N=100、D=50 のベルヌーイモデルにおいて、潜在アプローチはブートストラップサンプル全体を通して変数選択のばらつきが少なく、元の手法は常に過剰選択を示す。
• 潜在アプローチは、全テストデータサイズにおいて相対的なウォールタイムが1.0未満であり、元の projpred よりも顕著に高速で、次元が高くなるほどその利点が増大する。
• 非ガウス型指数型分布族モデル（例：ベルヌーイ）では、潜在空間におけるノイズフィルタリングのおかげで、射影分散が低減され、特に小標本（Cancer や Rotterdam データ）において安定性が向上する。
• 階層的および非線形モデルを含む複雑なモデルにおいて、潜在アプローチは関連するモデル構造と変数を的確に回復し、より良い解路の順序付けと高い予測精度を達成する。
• 本手法は信頼性の高いオープンソース実装と、潜在空間が正規性から逸脱している場合を検出する診断機能を提供しており、そのような状況では性能リスクが生じる可能性を示唆する。