[논문 리뷰] PAC-Bayesian AUC classification and scoring

James Ridgway, Pierre Alquier외 2명|arXiv (Cornell University)|2014. 10. 07.

Gaussian Processes and Bayesian Inference참고 문헌 27인용 수 13

한 줄 요약

이 논문은 선형 및 비선형 점수 함수를 사용한 AUC 최적화 분류와 점수 부여를 위한 PAC-Bayesian 프레임워크를 제안하며, 특징 선택을 위해 가우시안 및 스팁-앤드-슬랩 사전을 활용한다. 비점근적 일반화 경계를 도출하고, 효율적인 계산 방법으로 순차 몽테카를로(Sequential Monte Carlo) 및 기대값 전파(Expectation-Propagation)를 도입하여, 기준 데이터셋에서 기존 방법보다 빠른 속도로 뛰어난 경험적 성능을 입증한다.

ABSTRACT

We develop a scoring and classification procedure based on the PAC-Bayesian approach and the AUC (Area Under Curve) criterion. We focus initially on the class of linear score functions. We derive PAC-Bayesian non-asymptotic bounds for two types of prior for the score parameters: a Gaussian prior, and a spike-and-slab prior; the latter makes it possible to perform feature selection. One important advantage of our approach is that it is amenable to powerful Bayesian computational tools. We derive in particular a Sequential Monte Carlo algorithm, as an efficient method which may be used as a gold standard, and an Expectation-Propagation algorithm, as a much faster but approximate method. We also extend our method to a class of non-linear score functions, essentially leading to a nonparametric procedure, by considering a Gaussian process prior.

연구 동기 및 목표

• 비점근적 일반화 경계를 보장하는 AUC 최적화 점수 부여 및 분류를 위한 PAC-Bayesian 프레임워크를 개발한다.
• 선형 점수 매개변수에 대한 스팁-앤드-슬랩 사전을 통해 AUC 기반 학습에서의 특징 선택을 가능하게 한다.
• 점수 함수에 대한 PAC-Bayesian 사후 분포를 위한 계산 효율적인 추론 방법—순차 몽테카를로(Sequential Monte Carlo) 및 기대값 전파(Expectation-Propagation)—를 설계한다.
• 비모수적 AUC 학습을 가능하게 하기 위해 가우시안 프로세스 사전을 사용하여 비선형 점수 부여로 프레임워크를 확장한다.
• 다양한 클래스 불균형을 가진 다양한 데이터셋에서 방법의 성능과 계산 효율성을 경험적으로 검증한다.

제안 방법

• 방법은 $ \pi_{\xi,\gamma}(\theta|\mathcal{D}) \propto \pi_\xi(\theta) \exp\{-\gamma R_n(\theta)\} $ 로 정의된 지브스 사후 분포를 사용하며, 여기서 $ R_n(\theta) $ 는 경험적 AUC 리스크이다.
• 비점근적 PAC-Bayesian 경계는 약한 가정 하에 유도된다: 특징 차이의 분포에 대한 가정 Dens(c)와 노이즈 구조에 대한 마진 가정 MA(κ,C)이다.
• 계산적 추론을 위해, 사후 근사에 대한 황금 표준 방법으로 순차 몽테카를로(SMC) 알고리즘이 개발되었다.
• 더 빠른 근사 추론을 위해 기대값 전파(EP) 알고리즘이 제안되었으며, 계산 효율성을 위해 병렬 업데이트가 가능하도록 설계되었다.
• 스피크-앤드-슬랩 사전은 점 질량과 가우시안의 혼합으로 모델링되어, 사후 포함 확률을 통해 자동으로 특징 선택이 가능하다.
• 비선형 점수 부여를 위해, 비모수적 AUC 최적화 점수 함수를 정의하기 위해 가우시안 프로세스 사전이 사용되었다.

실험 결과

연구 질문

• RQ1 비점근적 일반화 경계를 보장하는 PAC-Bayesian 이론이 AUC 기반 분류 및 점수 부여에 효과적으로 확장될 수 있는가?
• RQ2 가우시안 및 스팁-앤드-슬랩 사전이 AUC 최적화 학습에서, 특히 특징 선택 측면에서 어떻게 성능을 발휘하는가?
• RQ3 SMC 및 EP와 같은 효율적인 베이지안 추론 방법들이 AUC 리스크에 적합하게 조정될 수 있으며, 정확도와 속도 측면에서 어떻게 비교되는가?
• RQ4 실제 데이터셋에서 다양한 클래스 불균형과 차원 수를 가진 경우, 제안된 방법의 성능은 어떠한가?
• RQ5 가우시안 프로세스 사전을 통한 비모수적 확장이 AUC 최적화에서 선형 모델과 비교해 어떻게 성능을 발휘하는가?

주요 결과

• PAC-Bayesian 프레임워크는 Assumption Dens(c)와 마진 가정 MA(κ,C)를 포함한 약한 정규성 조건 하에서 AUC 리스크에 대한 비점근적 경계를 제공한다.
• SMC 알고리즘은 신뢰할 수 있는 황금 표준 사후 근사 방법으로서, Pima Indians 데이터셋에서의 Figure 4g에 나타나 있듯이 사후 주변확률이 진짜 사후와 매우 유사하게 추정된다.
• EP 알고리즘은 뚜렷한 속도 향상을 보였다: Pima의 경우 7.75초 (C에서 Rankboost의 3.26초 대비), DNA의 경우 63.47초 (Rankboost의 141.60초 대비), Colon의 경우 60.99초 (Rankboost의 156.85초 대비).
• 스피크-앤드-슬랩 사전은 효과적인 특징 선택을 가능하게 하였으며, 선형 모델에서 사후 포함 확률을 통해 관련 공변량을 식별하였다.
• 가우시안 프로세스 사전을 사용한 비모수적 확장은 고정된 매개변수 형태를 가정하지 않고도 민감하고 데이터 기반의 AUC 최적화 점수 부여를 가능하게 하였다.
• 모든 데이터셋에서 제안된 방법(EP-AUC)은 Rankboost 대비 훨씬 감소된 계산 시간으로 경쟁 가능한 AUC 성능을 달성하였다.