[논문 리뷰] The phase transition for the existence of the maximum likelihood estimate in high-dimensional logistic regression

Emmanuel J. Candès, Pragya Sur|arXiv (Cornell University)|2018. 04. 25.

Statistical Methods and Inference인용 수 7

한 줄 요약

이 논문은 가우시안 예측 변수를 가진 고차원 로지스틱 회귀에서 최대우도추정치(MLE)의 존재에 대한 날카운 단계전이를 확립한다. 볼록기하학과 난수행렬이론의 도구를 사용하여, $ \kappa = p/n $ 평면에서 명시적인 임계곡선 $ h_{\text{MLE}} $ 를 유도한다. 이에 따르면 고차원 점점 증가하는 점근적 조건 하에서 $ \kappa < h_{\text{MLE}} $ 이면 MLE가 거의 확실하게 존재하고, $ \kappa > h_{\text{MLE}} $ 이면 거의 확실하게 존재하지 않음을 보여준다.

ABSTRACT

This paper rigorously establishes that the existence of the maximum likelihood estimate (MLE) in high-dimensional logistic regression models with Gaussian covariates undergoes a sharp `phase transition'. We introduce an explicit boundary curve $h_{\ ext{MLE}}$, parameterized by two scalars measuring the overall magnitude of the unknown sequence of regression coefficients, with the following property: in the limit of large sample sizes $n$ and number of features $p$ proportioned in such a way that $p/n \ ightarrow \\kappa$, we show that if the problem is sufficiently high dimensional in the sense that $\\kappa &gt; h_{\ ext{MLE}}$, then the MLE does not exist with probability one. Conversely, if $\\kappa &lt; h_{\ ext{MLE}}$, the MLE asymptotically exists with probability one.

연구 동기 및 목표

• 고차원 로지스틱 회귀 모델에서 최대우도추정치(MLE)가 존재하는지 여부에 대한 오랜 동안의 질문을 해결하기 위해.
• 추상적인 기하학적 분리 조건이 아닌, 고차원 점근적 영역에서 실질적이고 계산 가능한 임계값을 통해 MLE의 존재성을 특성화하기 위해.
• 가우시안 예측 변수 가정 하에서 비율 $ \kappa = p/n $ 에 대한 함수로 MLE 존재에 대한 날카운 단계전이를 수립하기 위해.
• 볼록기하학과 난수행렬이론을 사용하여 고차원 환경에서 MLE의 행동을 분석할 수 있는 엄밀한 이론적 프레임워크를 제공하기 위해.

제안 방법

• 저자들은 $ n, p \to \infty $ 이면서 $ p/n \to \kappa $ 가 되는 고차원 점근적 영역에서 로지스틱 회귀 문제를 모델링한다.
• 그들은 현대적 변형인 고든의 메쉬를 통과하는 정리의 운동공식을 사용하여 우도 함수의 기하학을 분석한다.
• 이 방법은 이중 변수 $ \bm{\lambda} $ 를 사용한 재매개변수화를 통한 로그우도 함수 $ \ell(\bm{b}) $ 와 그 임계점의 행동을 연구하는 것을 포함한다.
• 핵심 단계는 최소화자 주변에서 로그우도의 이차항 전개를 사용하여 측도 집중성과 가우시안 과정 기법을 활용하는 것이다.
• MLE의 존재는 헤시안의 비퇴화성과 분리 초평면의 부재와 연결되며, 이는 이중 공식을 통해 분석된다.
• 단계전이 경계 $ h_{\text{MLE}} $ 는 신호 대 잡음 비율과 회귀계수의 총 크기의 함수로 명시적으로 도출된다.

실험 결과

연구 질문

• RQ1 가우시안 예측 변수를 가진 고차원 로지스틱 회귀에서 최대우도추정치가 존재하지 않는 조건은 무엇인가?
• RQ2 MLE가 높은 확률로 존재하지 않는다는 임계값이 $ p/n $ 비율의 초과에 대해 존재하는가?
• RQ3 데이터의 분리 가능성에 대한 기하학적 조건은 고차원 점근적 조건에서 실질적이고 계산 가능한 임계값으로 대체될 수 있는가?
• RQ4 절편 항이 존재할 경우 MLE 존재에 대한 단계전이 경계에 어떤 영향을 미치는가?

주요 결과

• 고차원 한계에서 비율 $ \kappa = p/n $ 가 임계 임계값 $ h_{\text{MLE}} $ 이하일 경우 MLE가 거의 확실하게 존재하고, $ \kappa > h_{\text{MLE}} $ 일 경우 거의 확실하게 존재하지 않는다.
• 단계전이 경계 $ h_{\text{MLE}} $ 는 신호 강도와 회귀계수의 총 크기의 함수로 명시적으로 도출된다.
• MLE의 존재는 데이터와 우도 표면의 기하학에 의해 결정되며, 이 전이가 고차원에서 데이터가 점점 분리 가능해질 때 발생한다.
• 분석 결과, $ p \ll n $ 이더라도 데이터가 준완전히 분리되어 있으면 MLE가 존재하지 않을 수 있음을 드러내며, 이 현상은 단계전이에 의해 포착된다.
• 이 방법은 커버의 이른바 히우리틱 단계전이 결과를 엄밀하게 정당화하며, 반응 변수가 예측 변수에 의존하는 경우로 이를 확장한다.
• 유도된 임계값 $ h_{\text{MLE}} $ 는 절편이 있는 경우와 없는 경우 모두 유효하며, 본 논문은 두 경우에 대한 명시적 공식을 제공한다.