[논문 리뷰] Uncertainty Quantification in the Classification of High Dimensional Data.

Andrea L. Bertozzi, Xiyang Luo외 2명|arXiv (Cornell University)|2017. 03. 26.

Machine Learning and Algorithms참고 문헌 24인용 수 11

한 줄 요약

이 논문은 고차원 데이터의 이진 분류를 위한 통합 베이지안 프레임워크를 제안하며, 그래프 기반 준지도 학습을 활용하여 레이블의 사후 분포를 통해 자동으로 불확실성 정량화를 가능하게 한다. 효율적인 MCMC 및 MAP 추론 방법을 개발하여 표준 벤치마크 데이터셋에서 분류 정확도 향상과 신뢰할 수 있는 불확실성 추정을 입증한다.

ABSTRACT

Classification of high dimensional data finds wide-ranging applications. In many of these applications equipping the resulting classification with a measure of uncertainty may be as important as the classification itself. In this paper we introduce, develop algorithms for, and investigate the properties of, a variety of Bayesian models for the task of binary classification; via the posterior distribution on the classification labels, these methods automatically give measures of uncertainty. The methods are all based around the graph formulation of semi-supervised learning. We provide a unified framework which brings together a variety of methods which have been introduced in different communities within the mathematical sciences. We study probit classification, generalize the level-set method for Bayesian inverse problems to the classification setting, and generalize the Ginzburg-Landau optimization-based classifier to a Bayesian setting; we also show that the probit and level set approaches are natural relaxations of the harmonic function approach. We introduce efficient numerical methods, suited to large data-sets, for both MCMC-based sampling as well as gradient-based MAP estimation. Through numerical experiments we study classification accuracy and uncertainty quantification for our models; these experiments showcase a suite of datasets commonly used to evaluate graph-based semi-supervised learning algorithms.

연구 동기 및 목표

• 고차원 데이터의 이진 분류를 위한 통합 베이지안 접근법을 개발하여 자연스럽게 불확실성 정량화를 통합한다.
• 이전에 결정론적 설정에서 사용된 그래프 기반 준지도 학습 방법을 확률적, 베이지안 프레임워크로 확장한다.
• 대규모 데이터셋에 적합한 효율적인 계산 알고리즘을 제공한다. 이는 MCMC 샘플링과 기울기 기반 MAP 추정을 포함한다.
• 기존 방법들(예: 조화 함수, 지ン스부르크-란다우, 레벨셋) 간의 관계를 밝혀내기 위해, 이들이 동일한 베이지안 공식화의 리 라크스레이션으로 나타남을 보여준다.
• 표준 벤치마크 데이터셋에서 분류 정확도와 불확실성 정량화 성능을 평가한다.

제안 방법

• 레이블에 대한 사후 분포가 불확실성 추정을 제공하는 그래프 상의 베이지안 역문제로 이진 분류를 공식화한다.
• 클래스 소속 확률을 모델링하기 위해 프로빗 링크 함수를 적용하여 잠재 가우시안 과정를 통한 확률적 분류를 가능하게 한다.
• 베이지안 역문제에서의 레벨셋 방법을 분류 맥락으로 일반화하여, 잠재 필드에 대한 임계값 기반의 이진화 기법을 사용한다.
• 지진부르크-란다우 기능을 베이지안 최적화 프레임워크로 확장하여 확률적 정규화 사전분포를 도입한다.
• 조화 함수, 프로빗, 레벨셋 접근법이 동일한 기초 베이지안 모델의 자연스러운 리 라크스레이션임을 통합적 시각으로 밝혀낸다.
• 확장 가능한 수치적 방법을 개발한다: 대규모 데이터셋에 적합한 사후 샘플링을 위한 MCMC와 MAP 추정을 위한 기울기 기반 최적화

실험 결과

연구 질문

• RQ1 그래프 기반 준지도 학습 분류에 대해 체계적으로 베이지안 추론을 적용하여 불확실성 인식 예측을 얻을 수 있는 방법은 무엇인가?
• RQ2 기존의 그래프 기반 분류기들(예: 조화 함수, 지진부르크-란다우)과 통합 베이지안 공식화 간의 관계는 무엇인가?
• RQ3 역문제에서 유래한 레벨셋 방법을 적절한 확률적 기반을 갖춘 분류 맥락에 의미 있게 적응시킬 수 있는가?
• RQ4 제안된 베이지안 모델은 표준 벤치마크 데이터셋에서 분류 정확도와 불확실성 정량화 성능 측면에서 어떻게 비교되는가?
• RQ5 대규모 고차원 분류 작업에서 확장 가능한 추론을 가능하게 하는 효율적인 계산 전략은 무엇인가?

주요 결과

• 제안된 베이지안 프레임워크는 프로빗 분류, 레벨셋 방법, 지진부르크-란다우 기반 분류기를 동일한 확률적 공식화 아래 통합한다.
• 프로빗 및 레벨셋 접근법이 베이지안 프레임워크 내에서 조화 함수 방법의 공식화된 리 라크스레이션임을 엄밀히 증명한다.
• 분류 레이블에 대한 사후 분포를 통해 일관되고 해석 가능한 불확실성 추정을 제공한다.
• 효율적인 MCMC 및 MAP 추론 알고리즘을 개발하여 대규모 데이터셋에 적용하면서도 계산의 타당성을 유지한다.
• 표준 벤치마크 데이터셋에 대한 수치 실험 결과 경쟁력 있는 분류 정확도와 함께 신뢰할 수 있는 불확실성 정량화를 입증한다.
• 연구 결과 불확실성 추정치가 잘 校정되어 있으며, 특히 데이터 밀도가 낮거나 경계가 모호한 영역에서 유용함을 확인한다.