[論文レビュー] A Bayesian reassessment of nearest-neighbour classification

Lionel Cucala, Jean‐Michel Marin+2 more|ArXiv.org|Feb 10, 2008

Bayesian Methods and Mixture Models参考文献 16被引用数 4

ひとこと要約

本論文は、k-近傍法（k-NN）分類手法を完全ベイズ的再解釈するもので、k-NNを整合的な確率的モデルとして統合し、適切な統計的枠組みに組み込む。不確実性定数の取り扱いに、完全サンプリングまたはギブスサンプリングを用いた新規MCMC手法を導入し、中程度のサイズのデータセットでは擬似尤度近似が信頼できないことが示された。一方、提案されたベイズ的手法は、標準k-NNに比べ分類精度と不確実性の定量化を向上させた。

ABSTRACT

The k-nearest-neighbour procedure is a well-known deterministic method used in supervised classification. This paper proposes a reassessment of this approach as a statistical technique derived from a proper probabilistic model; in particular, we modify the assessment made in a previous analysis of this method undertaken by Holmes and Adams (2002,2003), and evaluated by Manocha and Girolami (2007), where the underlying probabilistic model is not completely well-defined. Once a clear probabilistic basis for the k-nearest-neighbour procedure is established, we derive computational tools for conducting Bayesian inference on the parameters of the corresponding model. In particular, we assess the difficulties inherent to pseudo-likelihood and to path sampling approximations of an intractable normalising constant, and propose a perfect sampling strategy to implement a correct MCMC sampler associated with our model. If perfect sampling is not available, we suggest using a Gibbs sampling approximation. Illustrations of the performance of the corresponding Bayesian classifier are provided for several benchmark datasets, demonstrating in particular the limitations of the pseudo-likelihood approximation in this set-up.

研究の動機と目的

• k-NN手法に明確な確率的基礎が欠如していること（従来は決定論的で誤差の評価が不十分）を是正すること。
• k-NNをヒューリスティックなアルゴリズムではなく、統計的推論問題として扱える整合的なベイズモデルを構築すること。
• 分類の不確実性とモデルパラメータ（特に近傍数k）の推定に、原則的枠組みを提供すること。
• モデルにおける不確実性定数の取り扱いに向けた計算手法（特に擬似尤度、パスサンプリング、完全サンプリング）を評価・比較すること。
• 提案されたベイズ的k-NN手法が、ベンチマークデータセットにおいて標準k-NNに比べ分類誤差と不確実性定量化の両面で優れていることを示すこと。

提案手法

• k-NN手順をバトラマン型モデルとして組み込み、訓練データ上の結合確率的モデルを定式化し、互いに整合する条件付き分布を導出する。
• k-NN近傍構造に基づく適切な尤度関数を導出し、完全ベイズ推論を可能にする。
• 不確実性定数の取り扱いに、3つの計算戦略（擬似尤度、パスサンプリング、Møllerらのアルゴリズムを用いた完全サンプリング）を適用する。
• 計算コストが高いため完全サンプリングが困難な状況において、実用的代替手段としてギブスサンプリングの近似を提案する。
• MCMCサンプリング（完全またはギブス）を用いて、クラスラベルおよびkを含むモデルパラメータの事後分布を推定する。
• 予測マップを用いて分類の不確実性と意思決定境界を可視化し、解釈性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 k-NN分類手法を整合的なベイズ的確率的モデルに正式に埋め込むことは可能か？
• RQ2 不確実性定数の異なる近似法（擬似尤度、パスサンプリング、完全サンプリング）は、k-NNにおける推論品質にどのように影響を与えるか？
• RQ3 提案されたベイズ的k-NN手法は、標準k-NNに比べ分類精度と不確実性定量化を向上させるか？
• RQ4 ギブスサンプリングの近似は、この文脈において実用的かつ信頼できる完全サンプリングの代替手段となり得るか？
• RQ5 ベイズ枠組みは、kとクラス所属の両方を不確実性推定とともに同時に推論可能か、その範囲はどの程度か？

主な発見

• 中程度のサイズのデータセットでは、擬似尤度近似が信頼できず、k-NN文脈では不良な推論を引き起こすことが判明した。
• 完全サンプリングとパスサンプリングは有効な代替手段ではあるが、計算コストが高く、パスサンプリングは検証用途には有用だが、日常的使用には不適切である。
• 提案されたギブスサンプリング近似は、計算的に実行可能かつ効果的であり、完全サンプリングの実用的代替手段として有効である。
• ピマ・インディアン糖尿病データセットでは、ベイズ的k-NNが予測誤差0.209を達成し、最良のk-NN結果（例：k=57–66で誤差0.205–0.208）と同等の性能を示した。
• 法医学的ガラス破片データセットでは、標準k-NN（k=17）の誤差0.35を、ベイズ的手法で0.29にまで低下させ、顕著な改善を達成した。
• ベイズ枠組みにより、予測マップを用いた分類の不確実性の可視化が可能となり、クラス間の曖昧性領域が明らかになった。