[論文レビュー] Non-Standard Asymptotics in High Dimensions: Manski's Maximum Score Estimator Revisited

Debarghya Mukherjee, Moulinath Banerjee+1 more|arXiv (Cornell University)|Mar 24, 2019

Statistical Methods and Inference参考文献 21被引用数 6

ひとこと要約

この論文は、高次元バイナリ選択モデルにおけるManskiの最大スコア推定量を再考し、滑らかさパラメータ α > 0 を持つソフトマージン条件の下で非標準的な漸近的レートを確立する。立方根漸近的レートの高次元版を初めて導出し、スローモードでは ((p/n)log n)^{α/(α+2)} 、ファストモードでは ((s₀ log p log n)/n)^{α/(α+2)} のレートを得る。α = 1 の場合、l₀正則化推定量によって最適レートが達成される。

ABSTRACT

Manski's celebrated maximum score estimator for the binary choice model has been the focus of much investigation in both the econometrics and statistics literatures, but its behavior under growing dimension scenarios still largely remains unknown. This paper seeks to address that gap. Two different cases are considered: $p$ grows with $n$ but at a slow rate, i.e. $p/n ightarrow 0$; and $p \gg n$ (fast growth). By relating Manski's score estimation to empirical risk minimization in a classification problem, we show that under a \emph{soft margin condition} involving a smoothness parameter $\alpha > 0$, the rate of the score estimator in the slow regime is essentially $\left((p/n)\log n ight)^{\frac{\alpha}{\alpha + 2}}$, while, in the fast regime, the $l_0$ penalized score estimator essentially attains the rate $((s_0 \log{p} \log{n})/n)^{\frac{\alpha}{\alpha + 2}}$, where $s_0$ is the sparsity of the true regression parameter. For the most interesting regime, $\alpha = 1$, the rates of Manski's estimator are therefore $\left((p/n)\log n ight)^{1/3}$ and $((s_0 \log{p} \log{n})/n)^{1/3}$ in the slow and fast growth scenarios respectively, which can be viewed as high-dimensional analogues of cube-root asymptotics: indeed, this work is possibly the first study of a non-regular statistical problem in a high-dimensional framework. We also establish upper and lower bounds for the minimax $L_2$ error in the Manski's model that differ by a logarithmic factor, and construct a minimax-optimal estimator in the setting $\alpha=1$. Finally, we provide computational recipes for the maximum score estimator in growing dimensions that show promising results.

研究の動機と目的

• p が n とともに増加する高次元的状況におけるManskiの最大スコア推定量の挙動を理解すること。
• 特に p ≫ n の状況において、推定量の理論的理解の欠如に対処すること。
• 滑らかさ条件の下でManskiモデルにおける L₂ 誤差の非漸近的リスクバウンドとミニマックス最適レートを確立すること。
• 成長する次元において最大スコア推定量を計算的に実行可能にするアルゴリズムの開発。

提案手法

• Manskiのスコア推定を二値分類フレームワークにおける経験的リスク最小化に関連付ける。
• 真の回帰関数のマージン挙動を特徴付ける滑らかさパラメータ α > 0 を持つソフトマージン条件を導入する。
• ミニマックス L₂ リスクの上界と下界を導出し、それらが対数因子を除いて一致することを示す。
• p ≫ n の状況で最適レートを達成するため、最大スコア推定量の l₀ 正則化版を提案する。
• 2つのスケーリングレームワークにおける推定量の収束レートを分析する：p/n → 0（スローモード）と p ≫ n（ファストモード）。
• α = 1 の場合に特化したミニマックス最適推定量を構築し、最適レート ((s₀ log p log n)/n)^{1/3} を達成する。

実験結果

リサーチクエスチョン

• RQ1 スローモード（p/n → 0）において、説明変数の数 p が標本サイズ n とともに増加するとき、Manskiの最大スコア推定量の収束レートは何か？
• RQ2 p ≫ n の高次元的状況では推定量はどのように振る舞い、スパarsity s₀ は果たす役割は何か？
• RQ3 α = 1 のソフトマージン条件の下で、Manskiモデルに対してミニマックス最適推定量を構築できるか？
• RQ4 このモデルにおける L₂ 誤差のミニマックス下界は何か？ そして上界との差はどの程度か？
• RQ5 成長する p を伴う高次元的状況において、最大スコア推定量をどのように効率的に計算できるか？

主な発見

• スローモード（p/n → 0）では、滑らかさパラメータ α > 0 のソフトマージン条件下で、最大スコア推定量は ((p/n)log n)^{α/(α+2)} のレートを達成する。
• ファストモード（p ≫ n）では、l₀ 正則化最大スコア推定量が、真のパラメータのスパarsity を表す s₀ を用いて ((s₀ log p log n)/n)^{α/(α+2)} のレートを達成する。
• α = 1 の場合、レートはそれぞれ ((p/n)log n)^{1/3} および ((s₀ log p log n)/n)^{1/3} に簡略化され、立方根漸近的レートの高次元版を形成する。
• L₂ リスクのミニマックス下界と上界は、対数因子を除いて一致しており、導出されたレートがタイトであることを示している。
• α = 1 の場合に、明示的にミニマックス最適推定量が構築され、最適レート ((s₀ log p log n)/n)^{1/3} を達成する。
• 成長する次元における最大スコア推定量のための計算手法が提案され、実験的に有望な性能を示した。