[논문 리뷰] Variational Bayesian inference for linear and logistic regression

Jan Drugowitsch|arXiv (Cornell University)|2013. 10. 21.

Gaussian Processes and Bayesian Inference참고 문헌 12인용 수 54

한 줄 요약

이 논문은 선형 회귀 및 로지스틱 회귀 모델에 대해 자동 관련성 결정(ARD)을 포함한 변분 베이지안 추론 프레임워크를 제시한다. 이는 회귀 계수와 하이퍼파rameter의 계층적 모델링을 가능하게 하며, 공액 사전분포(NIG 및 감마 하이퍼파라미터)를 사용하여 계수의 사후분포와 하이퍼사후분포를 동시에 추론하는 폐쇄형 해를 도출한다. 이로 인해 교차검증 없이도 변분 하한을 최대화함으로써 모델 선택이 가능해진다.

ABSTRACT

The article describe the model, derivation, and implementation of variational Bayesian inference for linear and logistic regression, both with and without automatic relevance determination. It has the dual function of acting as a tutorial for the derivation of variational Bayesian inference for simple models, as well as documenting, and providing brief examples for the MATLAB/Octave functions that implement this inference. These functions are freely available online.

연구 동기 및 목표

• 계층적 사전분포를 갖는 단순 회귀 모델에 대해 변분 베이지안 추론의 튜토리얼 스타일 유도를 제공하는 것.
• 자동 관련성 결정(ARD)을 포함한 선형 및 로지스틱 회귀에 대해 확장 가능하고 완전히 베이지안적인 추론 방법을 구현하는 것.
• 별도의 검증 세트가 필요 없이 변분 하한을 최대화하여 모델 선택을 가능하게 하는 것.
• 추론 알고리즘의 문서화된 MATLAB/Octave 구현을 통해 이론과 실천을 연결하는 것.
• 기존의 베이지안 회귀를 확장하여, 유형-II 최대우도 방법이 아닌 변분 근사법을 사용해 하이퍼파rameter와 계수 사후분포를 동시에 추론하는 것.

제안 방법

• 회귀 계수와 정밀도에 대해 공액 정규-역감마 사전분포를 사용하고, 정밀도에 감마 하이퍼파라미터, ARD 하이퍼파라미터 α에 감마 하이퍼파라미터를 적용한다.
• 의미-장 가정을 사용하여 가중치 w, 정밀도 τ, 하이퍼파라미터 α에 대한 변분 사후 근사값을 유도한다.
• 변분 하한에 대한 좌표상승을 통해 w, τ, α의 변분 파라미터에 대한 폐쇄형 업데이트 식을 도출한다.
• 비공액 케이스인 로지스틱 회귀에 대해서는 가능도에 라플라스 근사를 적용하여 동일한 프레임워크를 활용해 변분 추론을 수행한다.
• 다양한 다항식 차수에 대한 베이지안 모델 선택을 위해 모델 증거의 대체로 변분 하한을 사용한다.
• VBLinLogit MATLAB/Octave 라이브러리에 알고리즘을 구현하여, 피팅, 예측, 모델 비교 기능을 제공한다.

실험 결과

연구 질문

• RQ1 선형 및 로지스틱 회귀 모델에 대해 ARD를 포함한 변분 베이지안 추론을 체계적으로 유도하고 구현할 수 있는 방법은 무엇인가?
• RQ2 검증 세트가 필요 없이도 변분 하한이 모델 선택에 효과적인 기준이 될 수 있는가?
• RQ3 회귀 계수에 계층적 하이퍼파라미터를 도입할 경우 계수 감소와 모델 복잡도 선택에 어떤 영향을 미치는가?
• RQ4 클래식한 방법인 파이셔의 선형 판별 분석과 비교했을 때, ARD를 포함한 변분 추론의 로지스틱 회귀 성능은 어떠한가?
• RQ5 다항식 분류 과제에 적용했을 때, 제안된 추론 알고리즘의 예측 정확도와 일반화 성능는 어떻게 비교되는가?

주요 결과

• 모델 선택 예제에서 변분 하한은 진짜 다항식 차수(k=2)에서 최고점을 기록하여 교차검증 없이도 모델 복잡도를 정확히 식별하였다.
• ARD를 포함한 베이지안 모델은 최적의 모델로 더 낮은 차수의 다항식(k=3)을 선택하여 과적합을 효과적으로 방지함을 보였다.
• 변분 베이지안 분류기는 테스트 세트 오차율 18.33%를 기록했고, 파이셔의 선형 판별 분석의 19.00%보다 더 낮아 일반화 성능이 뛰어났다.
• 노이즈가 존재하는 상황에서도 변분 베이지안 모델의 예측 클래스 확률은 진짜 클래스 확률과 매우 유사하게 따라갔다.
• ARD를 통한 불필요한 계수의 제거가 성공적으로 이루어졌으며, α의 사후분포가 작은 계수 분산을 선호함으로써 이를 뒷받침했다.
• VBLinLogit 라이브러리에 구현된 MATLAB/Octave 구현은 효율적이고 재현 가능한 추론을 가능하게 하였으며, 피팅, 예측, 모델 비교 기능을 제공한다.