[論文レビュー] Uncertainty Quantification in the Classification of High Dimensional Data.

Andrea L. Bertozzi, Xiyang Luo+2 more|arXiv (Cornell University)|Mar 26, 2017

Machine Learning and Algorithms参考文献 24被引用数 11

ひとこと要約

この論文は、ラベルの事後分布を通じた自動的不確実性評価を可能にする、高次元データの二値分類のための統一的ベイジアン枠組みを導入する。グラフに基づく半教師あり学習を用い、効率的なMCMCおよびMAP推論手法を開発し、標準ベンチマークデータセット上で分類精度の向上と信頼性の高い不確実性推定を実証する。

ABSTRACT

Classification of high dimensional data finds wide-ranging applications. In many of these applications equipping the resulting classification with a measure of uncertainty may be as important as the classification itself. In this paper we introduce, develop algorithms for, and investigate the properties of, a variety of Bayesian models for the task of binary classification; via the posterior distribution on the classification labels, these methods automatically give measures of uncertainty. The methods are all based around the graph formulation of semi-supervised learning. We provide a unified framework which brings together a variety of methods which have been introduced in different communities within the mathematical sciences. We study probit classification, generalize the level-set method for Bayesian inverse problems to the classification setting, and generalize the Ginzburg-Landau optimization-based classifier to a Bayesian setting; we also show that the probit and level set approaches are natural relaxations of the harmonic function approach. We introduce efficient numerical methods, suited to large data-sets, for both MCMC-based sampling as well as gradient-based MAP estimation. Through numerical experiments we study classification accuracy and uncertainty quantification for our models; these experiments showcase a suite of datasets commonly used to evaluate graph-based semi-supervised learning algorithms.

研究の動機と目的

• 高次元データの二値分類のための統一的ベイジアン手法を開発し、自然に不確実性評価を組み込むこと。
• 従来の決定論的設定で用いられてきたグラフベースの半教師あり学習手法を、確率的・ベイジアンな枠組みに拡張すること。
• 大規模データセットに適した効率的な計算アルゴリズムを提供すること。MCMCサンプリングと勾配ベースのMAP推定を含む。
• 既存の手法（例：調和関数、ジンスブルグ＝ランダウ、レベルセット）との関係を調査し、それらが同一のベイジアン定式化の緩和形として導かれることが示されること。
• 標準ベンチマークデータセット上で、分類精度および不確実性評価性能の両方を評価すること。

提案手法

• 二値分類をグラフ上のベイジアン逆問題として定式化し、ラベルの事後分布が不確実性推定を提供することを活用する。
• クラス所属確率のモデル化にプロビットリンク関数を適用し、潜在ガウス過程を介した確率的分類を可能にする。
• 逆問題分野におけるレベルセット法を分類文脈に一般化し、潜在場におけるしきい値処理を用いる。
• ジンスブルグ＝ランダウ汎関数をベイジアン最適化枠組みに拡張し、確率的正則化事前分布を導入する。
• 調和関数、プロビット、レベルセットアプローチが、同一の基本的ベイジアンモデルの自然な緩和形であることを統一的な視点から示す。
• スケーラブルな数値的手法を開発：大規模データセットに適した事後分布サンプリングのためのMCMCと、MAP推定のための勾配ベース最適化。

実験結果

リサーチクエスチョン

• RQ1 グラフベースの半教師あり分類にベイジアン推論を体系的に適用することで、不確実性を考慮した予測をどのように得られるか？
• RQ2 既存のグラフベース分類器（例：調和関数、ジンスブルグ＝ランダウ）と統一的ベイジアン定式化との関係は何か？
• RQ3 逆問題分野のレベルセット法を、適切な確率的根拠を備えた分類設定に意味的に適応可能か？
• RQ4 提案されたベイジアンモデルは、標準ベンチマークデータセット上で分類精度および不確実性評価性能においてどのように比較されるか？
• RQ5 大規模・高次元分類タスクにおけるスケーラブルな推論を可能にする効率的な計算戦略は何か？

主な発見

• 提案されたベイジアン枠組みは、プロビット分類、レベルセット法、ジンスブルグ＝ランダウに基づく分類器を、同一の確率的定式化に統合する。
• プロビットおよびレベルセットアプローチが、ベイジアン枠組み内での調和関数法の正式な緩和形であることが示された。
• 分類ラベルの事後分布を通じて、整合的で解釈可能な不確実性推定が提供される。
• 効率的なMCMCおよびMAP推論アルゴリズムが開発され、大規模データセットへの適用が可能でありながら計算の実行可能性を維持する。
• 標準ベンチマークデータセットにおける数値実験により、競争力のある分類精度に加え、信頼性の高い不確実性評価が実証された。
• 不確実性推定が適切にキャリブレーションされており、特にデータ密度が低いか、境界が曖昧な領域で特に有用であることが確認された。