[論文レビュー] Inference In High-dimensional Single-Index Models Under Symmetric Designs

Hamid Eftekhari, Moulinath Banerjee+1 more|arXiv (Cornell University)|Sep 8, 2019

Statistical Methods and Inference参考文献 37被引用数 8

ひとこと要約

本稿は、楕円対称性の下で高次元単一インデックスモデルに対するバイアス補正推定法を提案する。未知のリンク関数を直接推定することなく、モデルをプロキシ線形モデルに再定式化することで、回帰係数推定値の $√n$-一貫性と漸近正規性を達成する。ガウス性下ではエルミート多項式展開を用いることで推定の効率性が向上する。

ABSTRACT

The problem of statistical inference for regression coefficients in a high-dimensional single-index model is considered. Under elliptical symmetry, the single index model can be reformulated as a proxy linear model whose regression parameter is identifiable. We construct estimates of the regression coefficients of interest that are similar to the debiased lasso estimates in the standard linear model and exhibit similar properties: root-n-consistency and asymptotic normality. The procedure completely bypasses the estimation of the unknown link function, which can be extremely challenging depending on the underlying structure of the problem. Furthermore, under Gaussianity, we propose more efficient estimates of the coefficients by expanding the link function in the Hermite polynomial basis. Finally, we illustrate our approach via carefully designed simulation experiments.

研究の動機と目的

• リンク関数が未知でかつ不規則な高次元単一インデックスモデルにおける回帰係数の統計的推論の課題に対処すること。
• 設計行列の楕円対称性を活用することで、高次元設定におけるリンク関数の同定可能性および推定の困難さを克服すること。
• リンク関数の滑らかさや微分可能性を仮定しないまま、インデックス係数ベクトルに対する $√n$-一貫性および漸近正規性を達成する手法の開発。
• ガウス設計下で、リンク関数をエルミート多項式基底で展開することで推定の効率性を向上させること。
• 非パラメトリックなリンク関数推定の計算的・理論的負担を回避する、有効な推論フレームワークの提供。

提案手法

• 楕円対称性の下で単一インデックスモデルをプロキシ線形モデルに再定式化し、リンク関数の推定を要せずインデックス係数ベクトルの同定を可能にする。
• 標準的な高次元線形モデルにおける手順を模倣した、デビアスド・ラソ型推定量を構築する。
• 設計の対称性を用いて、リンク関数の正則性を最小限にした条件下で、デビアスド推定量の漸近正規性と $√n$-一貫性を導出する。
• ガウス設計の場合、未知のリンク関数をエルミート多項式基底で展開し、分散の性質が改善されたより効率的な推定量を構築する。
• スパarsityと楕円対称性の下で推定量の漸近分布を導出し、妥当な信頼区間および仮説検定を可能にする。
• さまざまなサンプルサイズ、スパarsity、尖度を想定したシミュレーションを実装し、異なる設計条件下での性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 未知のリンク関数を推定しないで、高次元単一インデックスモデルにおけるインデックス係数ベクトルの有効な推論が可能か？
• RQ2 楕円対称性下での高次元単一インデックスモデルにおけるデビアスド推定量の漸近的性質は何か？
• RQ3 リンク関数が不連続または滑らかでない場合、本手法の性能は既存手法と比べてどうか？
• RQ4 ガウス設計下でリンク関数をエルミート多項式で展開することで、より効率的な推定が可能か？
• RQ5 共分散構造が未知か既知かによって、推論手順のカバレッジと選択精度にどのような影響があるか？

主な発見

• 提案手法のデビアスド推定量は、楕円対称性下で、リンク関数が不連続であってもインデックス係数ベクトルに対して $√n$-一貫性および漸近正規性を達成する。
• シミュレーション結果から、$n=500$ および $s=5$ や $10$ の場合、真陽性率（TPR > 0.90）が高く、偽陽性率（FPR ≈ 0.04–0.06）が低いことが示され、優れた変数選択性能が裏付けられる。
• 真の係数集合 $S$ のカバレッジ確率は、すべての設定で0.90以上であり、$n=500$ の場合の平均カバレッジ $¯{cov}(S) \geq 0.91$ である。
• ガウス設計下では、エルミート多項式に基づく推定量が効率性を向上させ、信頼区間の平均長さが $¯{l}(S) \approx 0.25$（$n=500$ 時）と非ガウス設定に比べて短縮される。
• $\Sigma$ が未知であっても、カバレッジ（$¯{cov}(S) \geq 0.91$）は良好で、偽陽性率も低く保たれ、共分散推定誤差に対してロバストであることが示された。
• 滑らかでない、または不規則なリンク関数を有する設定では、標準的手法が滑らかさの仮定に依存するため失敗するが、本手法は著しく優れた性能を示す。