[논문 리뷰] Softplus Regressions and Convex Polytopes

Mingyuan Zhou|arXiv (Cornell University)|2016. 08. 23.

Machine Learning and Algorithms참고 문헌 67인용 수 10

한 줄 요약

이 논문은 원래의 공변량 공간에서 다수의 초평면이 형성하는 볼록 다면체를 사용하여 직접적으로도 비선형 결정 경계를 유연하게 생성하는 소프트플러스 회귀 모델을 제안한다. 공변량에 의존하는 감마 분포를 감마 과정를 통해 복합화하고 쌓음으로써, 계산 비용을 크게 줄이고 커널 SVM과 유사한 분류 정확도를 달성하면서도 해석 가능한 기하학적 제약 조건과 베이지안 불확실성 측정을 제공한다.

ABSTRACT

To construct flexible nonlinear predictive distributions, the paper introduces a family of softplus function based regression models that convolve, stack, or combine both operations by convolving countably infinite stacked gamma distributions, whose scales depend on the covariates. Generalizing logistic regression that uses a single hyperplane to partition the covariate space into two halves, softplus regressions employ multiple hyperplanes to construct a confined space, related to a single convex polytope defined by the intersection of multiple half-spaces or a union of multiple convex polytopes, to separate one class from the other. The gamma process is introduced to support the convolution of countably infinite (stacked) covariate-dependent gamma distributions. For Bayesian inference, Gibbs sampling derived via novel data augmentation and marginalization techniques is used to deconvolve and/or demix the highly complex nonlinear predictive distribution. Example results demonstrate that softplus regressions provide flexible nonlinear decision boundaries, achieving classification accuracies comparable to that of kernel support vector machine while requiring significant less computation for out-of-sample prediction.

연구 동기 및 목표

• 커널 방법과 딥러닝의 계산 부담을 피하면서도 비모수 베이지안 접근법을 통해 비선형 분류를 개발하는 것.
• 공변량 공간에서 볼록 다면체 또는 다면체의 합집합을 정의하는 다수의 초평면을 사용하여 융통성 있는 결정 경계를 구축하는 것.
• 필요하지 않은 성분을 0으로 수축시키는 감마 과정 사전분포를 통해 자동으로 모델 복잡도 선택을 가능하게 하는 것.
• 높은 예측 정확도를 유지하면서도 결정 경계에 대한 해석 가능한 기하학적 제약 조건을 제공하는 것.
• Gibbs 샘플링과 데이터 증강 및 마진화 기법을 사용하여 전체 사후 예측 분포를 산출하고 모델 불확실성을 정량화하는 것.

제안 방법

• 모델은 소프트플러스 함수를 사용하여 감마 분포의 척도를 매개변수화하여 공변량의 부드럽고 비선형적인 변환을 가능하게 한다.
• 공변량에 의존하는 척도를 가진 가чёт한 무한개의 감마 분포를 복합화하고 쌓음으로써 감마 과정 사전분포를 통해 융통성 있는 예측 밀도를 형성한다.
• 계층적 베이지안 모델은 이러한 복합화되고 쌓인 감마 성분들을 이진 반응 모델링을 위한 베르누이-포isson 우도와 결합한다.
• 데이터 증강 및 마진화 기법을 사용하여 복잡한 사후 분포를 분해하고 분리하는 새로운 Gibbs 샘플링 알고리즘을 유도한다.
• 각 MCMC 반복 내에서 병렬 파rameter 업데이트를 지원하여 계산 효율성을 향상시킨다.
• 감마 과정 사전분포는 사용되지 않는 전문가(감마 성분)의 가중치를 자동으로 0으로 수축시키며, 이로 인해 과도한 과적합 없이도 큰 K_max를 사용할 수 있다.

실험 결과

연구 질문

• RQ1 커널 함수나 딥 네트워크에 의존하지 않고도 다수의 초평면을 사용하여 원래의 공변량 공간에서 비선형 결정 경계를 정의할 수 있는가?
• RQ2 공변량에 의존하는 감마 분포의 복합화와 쌓기 방식은 이진 분류에서 복잡하고 부드럽고 융통성 있는 비선형성을 어떻게 모델링할 수 있는가?
• RQ3 감마 과정 사전분포를 갖는 비모수 베이지안 프레임워크는 과적합을 피하면서도 관련 성분(전문가)의 수를 자동으로 학습할 수 있는가?
• RQ4 이 방법은 커널 SVM의 예측 정확도를 어느 정도 충족시키면서도 샘플 외 추론 비용을 줄일 수 있는가?
• RQ5 결과적으로 도출된 결정 경계는 기하학적으로 볼록 다면체와 어떻게 관련되어 있으며, 입력 공간에서 의미 있는 해석이 가능한가?

주요 결과

• Sum- 및 SS-소프트플러스 회귀는 여덟 개의 벤치마크 데이터셋에서 커널 서포트 벡터 머신과 유사한 분류 정확도를 달성한다.
• 결정 경계의 명시적인 기하학적 구조 덕분에 샘플 외 예측에 필요한 계산 비용이 커널 SVM보다 크게 줄어든다.
• K_max = 20일 때조차도 불필요한 전문가의 가중치가 0으로 수축되는 것을 확인하여 효과적인 모델 복잡도 제어가 가능함을 보여준다.
• ijcnn1 및 a9a와 같은 더 큰 데이터셋에서는 K_max를 50으로 늘여도 추가적인 수축이 발생하여 자동 모델 선택의 강건성과 확장성(스케일러빌리티)을 확인할 수 있었다.
• Gibbs 샘플러는 폐쇄형 업데이트를 지원하여 효율적인 사후 추론을 가능하게 하며, 병렬 계산을 지원하고 확장 가능한 학습을 가능하게 한다.
• 이 방법은 전체 사후 예측 분포를 제공하여 정확도를 희생시키지 않고도 불확실성 정량화와 확률적 예측을 가능하게 한다.