[논문 리뷰] Permuted and Augmented Stick-Breaking Bayesian Multinomial Regression

Quan Zhang, Mingyuan Zhou|arXiv (Cornell University)|2016. 12. 30.

Bayesian Methods and Mixture Models인용 수 9

한 줄 요약

이 논문은 다항 회귀를 조건부 독립 이元 회귀로 변환하기 위해 공변수에 의존하는 스틱 성공 확률을 활용하는 순열 및 증강된 스틱 분할(paSB) 구조를 제안한다. 이 방법은 소프트플러스 함수와 기존의 이원 분류기(예: SVM)를 활용하여 베이지안 다항 분류에서 불확실성 정량화, 강건성 및 비선형 결정 경계를 가능하게 한다.

ABSTRACT

To model categorical response variables given their covariates, we propose a permuted and augmented stick-breaking (paSB) construction that one-to-one maps the observed categories to randomly permuted latent sticks. This new construction transforms multinomial regression into regression analysis of stick-specific binary random variables that are mutually independent given their covariate-dependent stick success probabilities, which are parameterized by the regression coefficients of their corresponding categories. The paSB construction allows transforming an arbitrary cross-entropy-loss binary classifier into a Bayesian multinomial one. Specifically, we parameterize the negative logarithms of the stick failure probabilities with a family of covariate-dependent softplus functions to construct nonparametric Bayesian multinomial softplus regression, and transform Bayesian support vector machine (SVM) into Bayesian multinomial SVM. These Bayesian multinomial regression models are not only capable of providing probability estimates, quantifying uncertainty, increasing robustness, and producing nonlinear classification decision boundaries, but also amenable to posterior simulation. Example results demonstrate their attractive properties and performance.

연구 동기 및 목표

• 기존의 다항 회귀 모델이 불확실성 추정과 강건한 비선형 결정 경계를 제공하는 데에 한계가 있음을 해결하기 위해.
• 사후 시뮬레이션과 불확실성 정량화에 적합한 베이지안 프레임워크를 개발하기 위해.
• 임의의 교차 엔트로피 손실 이원 분류기를 체계적으로 베이지안 다항 모델로 변환할 수 있도록 하기 위해.
• 공변수에 의존하는 소프트플러스 함수를 사용한 비모수적 베이지안 다항 소프트플러스 회귀를 구축하기 위해.
• paSB 구조를 통해 베이지안 서포트 벡터 머신을 다항 분류로 확장하기 위해.

제안 방법

• paSB 구조는 관측된 카테고리들을 무작위로 순열 정렬된 잠재 스틱에 매핑하여, 카테고리와 이원 반응 변수 간의 일대일 대응을 가능하게 한다.
• 각 스틱은 해당 카테고리의 회귀 계수에 의해 매개변수화된 성공 확률을 갖는 이원 결과를 나타낸다.
• 스틱 실패 확률의 음의 로그는 공변수의 소프트플러스 함수로 모델링되어, 공변수 효과에 대한 탄력적이고 비모수적 모델링이 가능하다.
• 이 방법은 다항 회귀를 공변수에 의존하는 성공 확률을 갖는 조건부 독립 이원 회귀 문제들로 변환한다.
• 스틱 별 이원 변수들이 공변수에 의존하는 확률 조건 하에서 조건부 독립이므로 사후 시뮬레이션을 가능하게 한다.
• 기존의 이원 분류기(예: SVM)는 손실 함수와 매개변수화에 paSB 변환을 적용하여 베이지안 다항 모델로 변환된다.

실험 결과

연구 질문

• RQ1 완전한 사후 추론과 불확실성 정량화를 제공하면서도 계산의 타당성을 유지하는 베이지안 다항 회귀 모델을 구축할 수 있는가?
• RQ2 임의의 교차 엔트로피 손실 이원 분류기를 체계적으로 베이지안 다항 분류기로 변환할 수 있는가?
• RQ3 paSB 구조는 다항 분류에서 비선형 결정 경계를 생성할 수 있는가 동시에 해석 가능성과 사후 시뮬레이션을 유지하는가?
• RQ4 제안된 소프트플러스 기반의 비모수적 베이지안 다항 회귀 모델은 표준 다항 모델 대비 어떤 성능을 보이는가?
• RQ5 베이지안 SVM는 paSB 프레임워크를 통해 어느 정도 다항 분류로 확장될 수 있는가?

주요 결과

• paSB 구조는 다항 회귀를 조건부 독립 이원 회귀 문제의 집합으로 성공적으로 변환하여 사후 시뮬레이션과 불확실성 정량화를 가능하게 한다.
• 스틱 실패 확률에 소프트플러스 함수를 사용함으로써 다항 결과에서 공변수 효과에 대한 탄력적이고 비모수적 모델링이 가능해진다.
• 이 프레임워크는 임의의 교차 엔트로피 손실 이원 분류기를 베이지안 다항 모델로 변환할 수 있으며, 그 결정 경계의 구조를 유지한다.
• 결과적으로 생성된 베이지안 다항 소프트플러스 회귀 모델은 강건성과 비선형 결정 경계 생성 능력을 보인다.
• paSB를 통한 베이지안 SVM의 다항 분류로의 확장은 불확실성 정량화와 예측 성능 향상을 갖는 모델을 제공한다.
• 실험 결과는 이 방법이 신뢰할 수 있는 확률 추정과 분류 과제에서 향상된 강건성을 갖는다는 것을 입증한다.