[論文レビュー] Functional Choice and Non-significance Regions in Regression

Laurie Davies|arXiv (Cornell University)|May 6, 2016

Advanced Statistical Methods and Models参考文献 12被引用数 3

ひとこと要約

この論文は、回帰における変数選択のための有意性検定に依存しないフレームワークを提案する。従来のモデル選択基準（例：AIC、BIC）の代わりに、観測された残差平方和を独立同一分布に従う正規ノイズからのものと比較するパーミュテーションに基づくアプローチを採用する。この手法は、シミュレーションを用いて共変数の部分集合のp値を計算し、それがランダムノイズよりも顕著に優れているかどうかを特定する。さらに、L1回帰などの非パラメトリック損失関数へも拡張可能である。

ABSTRACT

Given data $y$ and $k$ covariates $x$ the problem is to decide which covariates to include when approximating $y$ by a linear function of the covariates. The decision is based on replacing subsets of the covariates by i.i.d. normal random variables and comparing the error with that obtained by retaining the subsets. If the two errors are not significantly different for a particular subset it is concluded that the covariates in this subset are no better than random noise and they are not included in the linear approximation to $y$.

研究の動機と目的

• 従来のモデルベース基準（例：AIC、BIC）や正則化（例：Lasso）が信頼性が低いか、強い分布仮定を必要とする場合に、回帰における関連する共変数の選択という課題に対処すること。
• 共変数の部分集合が、ランダムノイズよりも応答変数を予測するのに顕著に寄与しているかどうかを特定する手法を開発すること。
• 真のパrameter値が仮定されない状況においても、信頼領域の代わりにシミュレーションに基づく推論を用いて回帰係数の非有意領域を構築すること。
• 最小二乗法を超えて、一般の乖離測度（例：L1回帰）へとこのアプローチを拡張し、外れ値や重い尾を持つ誤差に対してよりロバストな性能を実現すること。

提案手法

• 各除外された共変数の部分集合を、独立同一分布に従うN(0,1)のランダム変数に置き換え、同じ回帰モデル下での残差平方和（S²_e）を計算する。
• 多数のシミュレーションにおいて、観測された残差平方和（s²）とS²_eを比較し、p値を計算する：p_e = S²_e < s² となるシミュレーションの割合。
• p_e > 1 - α（例：α = 0.95）である場合、その共変数の部分集合は非有意であると宣言する。これは、それがランダムノイズよりも顕著に優れていないことを示す。
• シミュレーションを用いて回帰係数の非有意領域（例：中央値またはL1推定値）を構築し、推定値から顕著に異なる値でない範囲を定義する。
• 中央値の場合、非有意領域は、摂動させたデータが観測された中央値よりも小さいL1損失をとる確率が1 - α以上であるような値mの集合として定義する。
• カイ二乗分布と正規ノイズを用いた漸近的近似を活用し、摂動下での乖離の期待的挙動を導出し、効率的なシミュレーションを可能にする。

実験結果

リサーチクエスチョン

• RQ1 ランダムノイズによって予測可能とされるものよりも、共変数の部分集合が応答変数の予測に顕著に寄与しているかどうかを特定できるか？
• RQ2 真の値を仮定しない状況で、シミュレーションに基づく推論を用いて回帰係数（例：中央値）の非有意領域をどのように定義できるか？
• RQ3 この手法は、AIC や BIC などの従来のモデル選択基準に比べて、変数選択においてどれほど優れているか、あるいは補完的であるか？
• RQ4 この手法は最小二乗法を超えて、L1回帰などの他の乖離測度へ一般化可能か？
• RQ5 応答変数のランダム摂動下での乖離測度の漸近的挙動は何か？ そして、非有意領域の構築にどのように寄与するか？

主な発見

• スタックロスデータでは、唯一「3」（e = (1,1,0)，「Acid.Conc」を除く）という部分集合のp値が0.231であり、これはランダムノイズよりも顕著に優れていないことを示している。
• スタックロスデータの中央値の0.95非有意領域は[11.86, 18.71]であり、順序統計に基づく0.95信頼領域[11, 18]と非常に近い。
• 摂動下での最小L1損失の漸近的近似は、s₁(y) - χ²_k / (4f(0)) である。ここでf(0)は誤差分布の0における密度である。
• この手法はロバストで汎用性が高く、最小二乗法に限らず、L1やその他のM推定量を含む任意の乖離測度d(y,x)に適用可能である。
• 部分集合eのp値は、シミュレーションで得られた残差平方和が観測されたs²より小さい割合として定義され、形式的な有意性検定を可能にする。
• このアプローチは誤差分布に関するパラメトリック仮定に依存せず、明示的なモデルフィッティングを必要としない、モデル選択基準の頻度的代替手段を提供する。