[論文レビュー] Method of Contraction-Expansion (MOCE) for Simultaneous Inference in Linear Models

Fei Wang, Ling Zhou+2 more|arXiv (Cornell University)|Jan 1, 2021

Fault Detection and Control Systems被引用数 6

ひとこと要約

本稿では、LASSO などの正則化を用いたモデル選択後の高次元線形モデルにおける同時推定のための収縮・拡張法（MOCE）を提案する。バイアスと分散のバランスをとるためのデバイアス化により、理論的保証を伴う有効な同時信頼領域を実現し、従来の手法と比較して安定した被覆率と低い計算コストを達成する。

ABSTRACT

Simultaneous inference after model selection is of critical importance to address scientific hypotheses involving a set of parameters. In this paper, we consider high-dimensional linear regression model in which a regularization procedure such as LASSO is applied to yield a sparse model. To establish a simultaneous post-model selection inference, we propose a method of contraction and expansion (MOCE) along the line of debiasing estimation that enables us to balance the bias-and-variance trade-off so that the super-sparsity assumption may be relaxed. We establish key theoretical results for the proposed MOCE procedure from which the expanded model can be selected with theoretical guarantees and simultaneous confidence regions can be constructed by the joint asymptotic normal distribution. In comparison with existing methods, our proposed method exhibits stable and reliable coverage at a nominal significance level with substantially less computational burden, and thus it is trustworthy for its application in solving real-world problems.

研究の動機と目的

• 正則化（例：LASSO）を用いたモデル選択後の高次元線形モデルにおける同時推定の課題に対処すること。
• 従来の後選択推定で一般的に要求される「超スパarsity仮定」を緩和し、新しいデバイアス化アプローチによりバイアスと分散のバランスを取ること。
• 選択されたパラメータに対して理論的保証を伴う有効な同時信頼領域を保証する手法を開発すること。
• 従来の後選択推定手法と比較して、安定的かつ信頼性のある名目有意水準での被覆率を維持しながら、計算負荷を低減すること。

提案手法

• MOCEは、バイアスを低減しつつスパarsityを維持するための収縮・拡張フレームワークを導入する。
• LASSO推定量に対してデバイアス化機構を適用し、調整された推定量の漸近的正規性を実現することで、有効な推定が可能になる。
• 2段階のプロセスにより拡張モデルを構築する：まず推定量を収縮させてバイアスを低減し、次に拡張して推定の安定性を回復する。
• デバイアス化されたパラメータの同時漸近的正規分布を活用して、同時信頼領域を構築する。
• 緩いスパarsity仮定の下でも、モデル選択の一致性と被覆確率に関する理論的保証を導出する。
• 再サンプリングやパーミュテーション手法を避けることで、サンプル分布の解析的近似に依存し、計算効率を達成する。

実験結果

リサーチクエスチョン

• RQ1 正則化を用いたモデル選択後の高次元線形モデルにおける同時推定を信頼性高く行うにはどうすればよいか？
• RQ2 後選択推定における被覆精度を損なわずに、「超スパarsity仮定」を緩和することは可能か？
• RQ3 バイアス補正が高次元設定における信頼領域の分散および被覆特性に与える影響は何か？
• RQ4 MOCEは、従来の後選択推定手法と比較して、精度と効率の観点から計算的・統計的にどのように異なるか？
• RQ5 理論的根拠を備えた手法を開発できるか。その手法は、バイアスと分散のバランスを保ちつつ、高次元設定における計算の扱いやすさを維持するか？

主な発見

• MOCEは、緩いスパarsity仮定下でも名目有意水準で安定的かつ信頼性のある被覆率を達成する。
• デバイアス化されたパラメータ推定量の同時漸近的正規性を活用して、有効な同時信頼領域を提供する。
• 再サンプリングに基づく手法と比較して、計算負荷を顕著に低減し、実世界の応用において実用的である。
• 高次元漸近的枠組み下でも、モデル選択および推定に関する理論的保証が確立されている。
• デバイアス化機構により、バイアスと分散が効果的にバランスされ、強いスパarsity条件を必要とせずに推定の正確性が向上する。
• 実験的結果は、MOCEが従来の代替手法と比較して著しく低い計算コストで、名目水準に近い被覆率を維持していることを示している。