[論文レビュー] Uniformly Valid Post-Regularization Confidence Regions for Many Functional Parameters in Z-Estimation Framework
本稿は、標本サイズ $n$ よりも著しく大きいパラメータ数 $ ilde{p}$ を持つ高次元 Z-推定モデルにおいて、多くの関数的パラメータの均一に有効な同時信頼区間を構築する。この研究では、高次元最適化問題を解かずに、直交化されたスコア関数に対するマルチプライヤーブートストラップを用いて信頼区間を構成し、弱い正則性条件のもとで均一な有効性を達成する。これにより、関数的ロジスティック回帰などのモデルで、応答変数の条件付き分布関数全体に対する推論が可能になる。
In this paper we develop procedures to construct simultaneous confidence bands for $ ilde p$ potentially infinite-dimensional parameters after model selection for general moment condition models where $ ilde p$ is potentially much larger than the sample size of available data, $n$. This allows us to cover settings with functional response data where each of the $ ilde p$ parameters is a function. The procedure is based on the construction of score functions that satisfy certain orthogonality condition. The proposed simultaneous confidence bands rely on uniform central limit theorems for high-dimensional vectors (and not on Donsker arguments as we allow for $ ilde p \gg n$). To construct the bands, we employ a multiplier bootstrap procedure which is computationally efficient as it only involves resampling the estimated score functions (and does not require resolving the high-dimensional optimization problems). We formally apply the general theory to inference on regression coefficient process in the distribution regression model with a logistic link, where two implementations are analyzed in detail. Simulations and an application to real data are provided to help illustrate the applicability of the results.
研究の動機と目的
- モデル選択後の高次元モデルにおける多数の関数的パラメータに対する均一に有効な推論手順の欠如を解消すること。
- パラメータ数 $ ilde{p} \gg n$ のもとで、モーメント条件モデルにおける連続的パラメータ（無限次元の対象を含む）の同時信頼区間を構築すること。
- ロジスティックリンクを用いた分布回帰などの関数的回帰モデルを用いて、応答変数の条件付き分布全体に対する推論を可能にすること。
- 高次元最適化問題の繰り返し解法を避けることで、計算的に効率的な手法を開発すること。
- 高次元のヌイアンスパラメータに対して、弱いモーメント条件およびスパarsity条件のもとで、マルチプライヤーブートストラップの理論的有効性を確立すること。
提案手法
- ヌイアンスパラメータの推定誤差に対してロバストであるよう、ネイマン直交性条件を満たす直交化スコア関数を構築する。
- 高次元最適化問題の繰り返し解法を回避するため、推定スコア関数の再サンプリングのみを行うマルチプライヤーブートストラップ手順を採用する。
- 高次元ベクトルの均一中心極限定理（Donsker型の議論ではなく）を用いて、$ ilde{p} \gg n$ の下での漸近的正規性を正当化する。
- メトリックエントロピー積分を用いた複雑さの制御により、関数クラス上の経験過程の上界を制御する。
- 2段階推定戦略を実装：まずLassoまたはPost-Lassoを用いて高次元ヌイアンスパラメータを推定し、その後残差化されたスコア関数を用いて信頼区間を構築する。
- マルチプライヤーブートストラップの臨界値を用いて、$u \in \mathcal{U}$ および $j \in [\tilde{p}]$ のすべての $\theta_{uj}$ に対する均一信頼区間を導出する。
実験結果
リサーチクエスチョン
- RQ1$ ilde{p} \gg n$ の高次元モデルにおいて、多数の関数的パラメータの均一に有効な同時信頼区間を構築することは可能か？
- RQ2パラメータ数が標本サイズを上回る状況で、モデル選択後の推論の有効性をどのように保証できるか？
- RQ3関数的パラメータのモデル選択後推論において、高次元最適化問題を繰り返し解かずに済ませることは可能か？
- RQ4Z-推定フレームワークにおける高次元ベクトル過程に対して、マルチプライヤーブートストラップの漸近的有効性を保証する条件は何か？
- RQ5分布回帰モデルにおけるスカラー型パラメータからの推論を、分布回帰全体の関数的パラメータプロセスへと拡張することは可能か？
主な発見
- 提案手法は、弱い正則性条件およびスパarsity条件のもとで、$ ilde{p} \gg n$ の状況下でも、$ ilde{p}$ 個の関数的パラメータの均一に有効な同時信頼区間を構築可能である。
- マルチプライヤーブートストラップ手順は計算的に効率的であり、最適化問題の再解法を避けて推定スコア関数の再サンプリングのみを実行する。
- 多くの確率測度 $\mathcal{P}_n$ のクラス全体にわたって均一な有効性が達成され、被覆確率が名目水準に一様に近いことを保証する。
- エントロピー積分による境界を用いた理論的保証により、パラメータ空間の複雑さが $ ilde{p}$、$n$、およびスパarsityレベル $k$ によって制御されることを示した。
- 本手法は、ロジスティック分布回帰モデルにおける応答変数の条件付き分布関数全体に対する推論に適用可能であり、平均や分位数の特徴量に限らない。
- 主な技術的結果として、$ ilde{p} \gg n$ の下で、メトリックエントロピーおよび対称化の議論を用いて導出された高次元ベクトルに対する均一中心極限定理が得られた。
より良い研究を、今すぐ始めましょう
論文の読解から最終レビューまで、研究時間を劇的に削減しましょう。
クレジットカード登録不要
このレビューはAIが作成し、人間の編集者が確認しました。