[논문 리뷰] Expectation-maximization for logistic regression

James G. Scott, L. Sun|arXiv (Cornell University)|2013. 05. 31.

Statistical Methods and Inference참고 문헌 9인용 수 13

한 줄 요약

이 논문은 효율적인 사후 추론을 가능하게 하는 폴리아-게이머(Polya-Gamma) 잠재 변수 표현을 활용한 로지스틱 회귀를 위한 새로운 기대최대화(EM) 알고리즘을 제안한다. 로지스틱 우도를 잠재적 폴리아-게이머 변수를 통해 정규분포의 척도 혼합으로 재구성함으로써, 사후 모드 수렴을 달성하고 변분베이즈와의 공식적 연결을 수립하며, 수렴 보장이 있고 스파arsity 유도 사전분포를 지원하는 두 번째 차수의 온라인 학습이 가능해진다.

ABSTRACT

We present a family of expectation-maximization (EM) algorithms for binary and negative-binomial logistic regression, drawing a sharp connection with the variational-Bayes algorithm of Jaakkola and Jordan (2000). Indeed, our results allow a version of this variational-Bayes approach to be re-interpreted as a true EM algorithm. We study several interesting features of the algorithm, and of this previously unrecognized connection with variational Bayes. We also generalize the approach to sparsity-promoting priors, and to an online method whose convergence properties are easily established. This latter method compares favorably with stochastic-gradient descent in situations with marked collinearity.

연구 동기 및 목표

• 이산 및 음이항 로지스틱 회귀에 대해 수렴 보장을 보장하는 원칙적인 EM 알고리즘을 개발하기 위해.
• 이전에 인식되지 않았던 로지스틱 회귀 맥락에서 EM과 변분베이즈 간의 관계를 명확히 하기 위해.
• 수렴 성질을 유지하면서 온라인 학습 및 스파arsity 유도 사전분포로의 확장을 위해.
• 고상관관계 상황에서의 계산 예산이 제한된 환경에서 확률적 경사하강법의 두 번째 차수 대안을 제공하기 위해.
• 점 추정치와는 달리 의미 있는 불확실성 측정을 제공하는 사후 근사치를 제공하기 위해.

제안 방법

• 이 방법은 로지스틱 우도가 폴리아-게이머 분포를 가진 잠재 변수를 통해 정규분포의 척도 혼합으로 표현되는 잠재 변수 표현을 사용한다.
• EM 알고리즘은 현재 매개변수 추정치를 기반으로 폴리아-게이머 잠재 변수의 사후 평균을 계산하는 E단계와, 가중 최소제곱을 통해 회귀 계수를 갱신하는 M단계를 번갈아 수행한다.
• M단계에서의 작업 매개변수 ωt는 ωt = mt/(2ψt) tanh(ψt/2)로 계산되며, 정규 근사의 대각정밀행렬을 형성한다.
• 알고리즘은 정확한 EM 프레임워크에서 유도되었으며, 폴리아-게이머 분포는 로지스틱 우도에 대한 유효한 데이터 증강 기법을 제공한다.
• 온라인 변형은 폴리악-르퍼트 평균을 사용하여 유도되었으며, 미약한 조건 하에서도 수렴 보장이 되며 대규모 학습에 효율적이다.
• 스파arsity는 두꺼운 尾를 가진 사전분포(예: 라플라스 또는 호르쉐이)를 통해 구현되며, 이는 EM 프레임워크와 자연스럽게 호환되며 수렴성을 유지한다.

실험 결과

연구 질문

• RQ1 폴리아-게이머 표현을 사용해 로지스틱 회귀에 대해 정확한 EM 알고리즘을 구성할 수 있으며, 이는 사후 모드 수렴을 보장하는가?
• RQ2 제안된 EM 알고리즘은 변분베이즈와 어떻게 관련되어 있으며, 유도 방식이 다름에도 불구하고 동일한 고정점에 도달하는 이유는 무엇인가?
• RQ3 EM 프레임워크는 수렴 보장과 고성능을 갖춘 온라인 학습으로 확장될 수 있는가?
• RQ4 제한된 계산 예산 하에서 고상관관계 상황에서 온라인 EM이 확률적 경사하강법보다 우수한 성능을 보이는가?
• RQ5 비볼록 스파arsity 유도 사전분포를 유지하면서도 수렴성과 불확실성 측정을 보장할 수 있는가?

주요 결과

• EM 알고리즘은 EM의 상승 성질과 사후 분포의 로그-볼록성 덕분에 사후 모드로 수렴한다.
• 이 방법은 [1]의 변분베이즈 접근과의 공식적 동치성을 수립하며, 서로 다른 유도 과정을 거쳐도 동일한 작업 매개변수 ωt가 도출됨을 보여준다.
• 10만 개의 관측치와 250개의 예측변수를 가진 고상관관계 시뮬레이션에서, 유사한 계산 시간 동안 온라인 EM이 확률적 경사하강법보다 수렴 속도와 안정성에서 뛰어난 성능을 보였다.
• 온라인 EM은 학습률 감쇠 스케줄에 대해 강건한 반면, 확률적 경사하강법은 이러한 선택에 매우 민감하다는 점에서 유의미한 차이를 보였다.
• 이 방법은 비볼록 스파arsity 유도 사전분포(예: 호르쉐이)를 자연스럽게 지원하며, 이는 확률적 경사하강법과의 조합이 어려운 분야이다.
• 온라인 EM에서 도출된 사후 근사치는 점 추정치보다 더 의미 있는 오차 막대를 제공하며, 변분베이즈와 유사한 품질을 보이지만 일致성 보장을 갖춘다.