[論文レビュー] The phase transition for the existence of the maximum likelihood estimate in high-dimensional logistic regression

Emmanuel J. Candès, Pragya Sur|arXiv (Cornell University)|Apr 25, 2018

Statistical Methods and Inference被引用数 7

ひとこと要約

本稿は、ガウス型共変数を伴う高次元ロジスティック回帰における最尤推定量（MLE）の存在に関する鋭い相転移を確立する。凸幾何学および確率行列理論の道具を用いて、$ \kappa = p/n $ 平面上の明示的な閾値曲線 $ h_{\text{MLE}} $ を導出する。高次元漸近的条件下で、$ \kappa < h_{\text{MLE}} $ ならばMLEは確率1で存在し、$ \kappa > h_{\text{MLE}} $ ならばMLEは確率1で存在しないことが示される。

ABSTRACT

This paper rigorously establishes that the existence of the maximum likelihood estimate (MLE) in high-dimensional logistic regression models with Gaussian covariates undergoes a sharp `phase transition'. We introduce an explicit boundary curve $h_{\ ext{MLE}}$, parameterized by two scalars measuring the overall magnitude of the unknown sequence of regression coefficients, with the following property: in the limit of large sample sizes $n$ and number of features $p$ proportioned in such a way that $p/n \ ightarrow \\kappa$, we show that if the problem is sufficiently high dimensional in the sense that $\\kappa &gt; h_{\ ext{MLE}}$, then the MLE does not exist with probability one. Conversely, if $\\kappa &lt; h_{\ ext{MLE}}$, the MLE asymptotically exists with probability one.

研究の動機と目的

• 高次元ロジスティック回帰モデルにおける最尤推定量（MLE）の存在が成立する条件を解明すること。
• 抽象的な幾何的分離条件ではなく、高次元漸近的条件下で具体的かつ計算可能な閾値を用いてMLEの存在を特徴づけること。
• ガウス型共変数の仮定の下で、比 $ \kappa = p/n $ の関数としてMLEの存在に鋭い相転移が生じることを確立すること。
• 凸幾何学および確率行列理論を用いた厳密な理論的枠組みを構築し、高次元設定におけるMLEの挙動を分析すること。

提案手法

• 著者らは、$ n, p \to \infty $ かつ $ p/n \to \kappa $ となる高次元漸近的設定でロジスティック回帰問題をモデル化する。
• 彼らは、ゴードンのメッシュを通り抜ける定理の現代的変種である、凸幾何学の運動学的公式を用いて、尤度関数の幾何的性質を分析する。
• この手法では、対数尤度関数 $ \ell(\bm{b}) $ 及びその臨界点の挙動を、双対変数 $ \bm{\lambda} $ を用いた再パラメータライゼーションによって調べる。
• 重要なステップとして、尤度関数の最小化点まわりの2次近似を用い、濃度の集中およびガウス過程の技法を活用する。
• MLEの存在は、ヘッセ行列の非退化性および分離超平面の不在と関連づけられ、双対定式化を通じて分析される。
• 相転移境界 $ h_{\text{MLE}} $ は、信号対雑音比および回帰係数の全体的大きさの関数として明示的に導出される。

実験結果

リサーチクエスチョン

• RQ1 ガウス型共変数を伴う高次元ロジスティック回帰において、最尤推定量がいつ存在しなくなるか。
• RQ2 MLEが高確率で存在しなくなるための $ p/n $ の比に関する鋭い閾値は存在するか。
• RQ3 データの分離可能性を示す幾何的条件を、高次元漸近的条件下で定量的かつ計算可能な閾値に置き換えられるか。
• RQ4 切片項の存在が、MLEの存在に関する相転移境界にどのように影響するか。

主な発見

• 高次元極限において、比 $ \kappa = p/n $ が臨界閾値 $ h_{\text{MLE}} $ より小さい場合、MLEは確率1で存在し、$ \kappa > h_{\text{MLE}} $ ならばMLEは確率1で存在しない。
• 相転移境界 $ h_{\text{MLE}} $ は、信号強度および回帰係数の全体的大きさの関数として明示的に導出される。
• MLEの存在は、データおよび尤度曲面の幾何的性質によって支配され、データが高次元で漸近的に分離可能になると、その転移が生じる。
• 分析により、$ p \ll n $ であっても、データが準完全に分離されている場合にはMLEが存在しなくなる可能性があることが判明し、この現象は相転移によって捉えられる。
• 本手法により、カバーの初期のヒューリスティックな相転移結果が厳密に裏付けられ、応答変数が共変数に依存する場合にまで拡張される。
• 導出された閾値 $ h_{\text{MLE}} $ は、切片項の有無に関わらず有効であり、本稿では両ケースの明示的公式が提供されている。