[論文レビュー] Finite-sample analysis of M-estimators using self-concordance

Dmitrii M. Ostrovskii, Francis Bach|arXiv (Cornell University)|Oct 16, 2018

Statistical Methods and Inference参考文献 57被引用数 11

ひとこと要約

本稿は自己調和性を用いてM推定量の有限標本バウンドを提供し、カイ二乗型過剰リスクバウンドのための臨界標本サイズが $ O(d \cdot d_{\text{eff}}) $ に比例することを示している。ここで $ d $ はパラメータ次元、$ d_{\text{eff}} $ はモデルの不適合性を要約する。解析は母集団最小化点における局所的ガウス型および曲率仮定に依存しており、より強いディキン楕円体近傍条件のもとでは、より緊密なバウンド $ O(\max\{d_{\text{eff}}, d\log d\}) $ が得られる。これはガウス設計を用いたロジスティック回帰において検証されている。

ABSTRACT

The classical asymptotic theory for parametric $M$-estimators guarantees that, in the limit of infinite sample size, the excess risk has a chi-square type distribution, even in the misspecified case. We demonstrate how self-concordance of the loss allows to characterize the critical sample size sufficient to guarantee a chi-square type in-probability bound for the excess risk. Specifically, we consider two classes of losses: (i) self-concordant losses in the classical sense of Nesterov and Nemirovski, i.e., whose third derivative is uniformly bounded with the $3/2$ power of the second derivative; (ii) pseudo self-concordant losses, for which the power is removed. These classes contain losses corresponding to several generalized linear models, including the logistic loss and pseudo-Huber losses. Our basic result under minimal assumptions bounds the critical sample size by $O(d \\cdot d_{\ ext{eff}}),$ where $d$ the parameter dimension and $d_{\ ext{eff}}$ the effective dimension that accounts for model misspecification. In contrast to the existing results, we only impose local assumptions that concern the population risk minimizer $\ heta_*$. Namely, we assume that the calibrated design, i.e., design scaled by the square root of the second derivative of the loss, is subgaussian at $\ heta_*$. Besides, for type-ii losses we require boundedness of a certain measure of curvature of the population risk at $\ heta_*$.Our improved result bounds the critical sample size from above as $O(\\max\\{d_{\ ext{eff}}, d \\log d\\})$ under slightly stronger assumptions. Namely, the local assumptions must hold in the neighborhood of $\ heta_*$ given by the Dikin ellipsoid of the population risk. Interestingly, we find that, for logistic regression with Gaussian design, there is no actual restriction of conditions: the subgaussian parameter and curvature measure remain near-constant over the Dikin ellipsoid. Finally, we extend some of these results to $\\ell_1$-penalized estimators in high dimensions.

研究の動機と目的

• 漸近的近似を越えて、M推定量が有限標本でカイ二乗型過剰リスクバウンドを達成する有限標本領域を特徴づけること。
• 損失関数の自己調和性の性質を用いて、そのようなバウンドのための標本サイズ要件を確立すること。
• 母集団最小化点 $ \theta_* $ における局所的条件のみを仮定することで、グローバルな滑らかさ仮定を緩和すること。
• 高次元設定における $ \ell_1 $-正則化推定量への結果の拡張。
• ガウス設計を用いたロジスティック回帰において理論を検証し、ディキン楕円体上でのサブガウス的パラメータと曲率測度がほぼ一定であることを示すこと。

提案手法

• 自己調和性（3/2乗のヘッセ行列による有界性）と擬似自己調和性（べき乗なし）の2つの損失関数クラスを導入。
• 2階微分の平方根でスケーリングされた補正予測子を用いて、$ \theta_* $ における局所的ガウス型を定義し、有限標本バウンドのための鍵となる仮定とする。
• ディキン楕円体近傍条件を適用してバウンドを強化し、$ \theta_* $ の周囲での局所的ガウス型と曲率制御を要件とする。
• $ \psi_2 $ および $ \psi_1 $-ノルムを用いて推定方程式の尾部挙動を制御し、モーメントおよび尾部バウンド解析を可能にする。
• 自己調和性のもとでの集中不等式を用いて過剰リスクバウンドを導出し、標本サイズと有効次元 $ d_{\text{eff}} $ の関係を結びつける。
• 同様の局所的仮定と曲率制御を用いて、$ \ell_1 $-正則化M推定量への結果の拡張を実施。

実験結果

リサーチクエスチョン

• RQ1 M推定量が有限標本でカイ二乗型過剰リスクバウンドを達成するための臨界標本サイズは何か？
• RQ2 損失関数の自己調和性および擬似自己調和性は、有限標本収束速度にどのように影響するか？
• RQ3 サブガウス的パラメータを有する補正予測子の局所的仮定が、グローバルな滑らかさ条件を置き換えることができるか？
• RQ4 ディキン楕円体近傍条件は、グローバル仮定よりも緊密な標本サイズバウンドをもたらすか？
• RQ5 高次元設定における $ \ell_1 $-正則化の下で、これらのバウンドはどのように振る舞うか？

主な発見

• カイ二乗型過剰リスクバウンドのための臨界標本サイズは、$ O(d \cdot d_{\text{eff}}) $ で抑えられ、ここで $ d_{\text{eff}} $ はモデルの不適合性を要約する。
• より強いディキン楕円体近傍仮定のもとでは、バウンドは $ O(\max\{d_{\text{eff}}, d\log d\}) $ に緊縮される。
• ガウス設計を用いたロジスティック回帰において、サブガウス的パラメータと曲率測度がディキン楕円体上でほぼ一定であり、局所的仮定の妥当性が裏付けられる。
• グローバルな滑らかさや曲率仮定を一切仮定せず、$ \theta_* $ における局所的正則性のみで有限標本バウンドを達成している。
• 高次元設定における $ \ell_1 $-正則化M推定量に対しても、有限標本保証が得られるように解析を拡張している。
• $ \psi_1 $-ノルムの使用により、適合モデルにおいて $ \psi_2 $-ノルムのバウンドを上回る指数的尾部制御が可能になった。