[論文レビュー] Prediction regions through Inverse Regression

Émilie Devijver, Émeline Perthame|arXiv (Cornell University)|Jul 9, 2018

Statistical Methods and Inference参考文献 17被引用数 8

ひとこと要約

本稿では、予測子の数が標本サイズを上回る高次元設定における多変量線形回帰のための逆回帰アプローチを提案する。予測子と応答変数の役割を入れ替えて応答変数を予測子としてモデル化することで、パラメータの効率的推定と明示的な漸近的予測領域の構築が可能となり、変数選択が非現実的である状況においても、最小二乗法や正則化手法と同等の性能を発揮する。

ABSTRACT

Predict a new response from a covariate is a challenging task in regression, which raises new question since the era of high-dimensional data. In this paper, we are interested in the inverse regression method from a theoretical viewpoint. Theoretical results have already been derived for the well-known linear model, but recently, the curse of dimensionality has increased the interest of practitioners and theoreticians into generalization of those results for various estimators, calibrated for the high-dimension context. To deal with high-dimensional data, inverse regression is used in this paper. It is known to be a reliable and efficient approach when the number of features exceeds the number of observations. Indeed, under some conditions, dealing with the inverse regression problem associated to a forward regression problem drastically reduces the number of parameters to estimate and make the problem tractable. When both the responses and the covariates are multivariate, estimators constructed by the inverse regression are studied in this paper, the main result being explicit asymptotic prediction regions for the response. The performances of the proposed estimators and prediction regions are also analyzed through a simulation study and compared with usual estimators.

研究の動機と目的

• 予測子の数 D が標本サイズ N を上回る状況（D > N）における多変量回帰の課題に取り組む。この状況では、次元の呪いのため従来の手法が機能しないためである。
• 推定の複雑さを低減する理論的裏付けのある逆回帰フレームワークを構築し、予測子と応答変数の役割を入れ替える。
• 高次元設定下での多変量応答変数のための明示的な漸近的予測領域を導出する。
• 最小二乗法や Lasso などの標準的推定器と比較して、特に小標本・高次元領域における本手法の性能を評価する。
• 変数選択に依存せずに、パラメータ推定におけるスパarsity（スパarsity）および対角構造を保持できるかを示す。

提案手法

• 応答変数 Y ∈ ℝ^L と高次元予測子ベクトル X ∈ ℝ^D を用いて、前向き回帰モデル Y = A*X + ε を定式化する。
• 予測子と応答変数の同時分布を活用して、条件付き分布 X|Y をモデル化することで、回帰問題を逆転させる。
• 逆モデルの残差構造に弱い仮定を置き、係数行列 A*、逆共分散行列 Γ*、誤差共分散行列 Σ* の明示的推定器を導出する。
• 推定器の漸近的正規性を確立し、パrameterの正確または漸近的信頼領域を導出する。
• 推定された逆回帰モデルに基づき、応答変数 Y ための明示的な漸近的予測領域を構築する。
• シミュレーションスタディを用いて、逆回帰法と最小二乗法、ブートストラップ Lasso の間で、カバレッジ、予測誤差、計算効率の観点から性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 D >> N の状況下で、逆回帰が高次元多変量回帰において信頼性があり扱いやすいパラメータ推定を可能にするか？
• RQ2 多変量設定下で、逆回帰推定器 A*、Γ*、Σ* の漸近的性質は何か？
• RQ3 逆回帰から導かれる予測領域は、最小二乗法や Lasso と比較してカバレッジと精度の点で優れているか？
• RQ4 逆回帰は、真のパラメータ行列におけるスパarsity や対角構造といった構造的特徴を保持できるか？
• RQ5 特に予測子の数に比べて標本サイズが小さい場合、有限標本における本手法の性能はいかがなものか？

主な発見

• 逆回帰は、標本サイズが中程度（N=500）でかつ予測子プロファイルが平均に近い場合、カバレッジの観点で最小二乗法やブートストラップ Lasso と同等の予測領域を生成する。
• 予測子プロファイルが平均から離れている場合（例：分位数 0.2 または 0.35）、逆回帰の予測領域は安定的かつ適切にキャリブレーションされている一方、ブートストラップ Lasso はカバレッジを維持できていない。
• 真の Γ* および Σ* 行列の対角構造を正確に回復しており、推定値は対角上での適切なばらつきを示している。
• 逆回帰による係数行列 A* の推定値は、真のスパース構造の一部を回復しており、バイオリンプロットは真の非ゼロ値の周囲に集中している。
• 予測誤差は一般的に小さく、Σ* の残差分散が小さい第2応答変数の方が第1応答変数よりもより正確に予測されている。
• 逆回帰の計算時間は高次元設定下でも合理的なままであり、変数選択が不可能な状況における正則化手法の実用的代替手段として有効である。