[論文レビュー] A Novel Bayesian Classifier using Copula Functions

Saket Sathe|ArXiv.org|Nov 29, 2006

Bayesian Modeling and Causal Inference参考文献 11被引用数 10

ひとこと要約

本論文は、高次元特徴空間における複雑な依存構造をモデル化するための新しいベイジアン分類器を提案する。この手法は、周辺分布と結合依存構造を分離することで、多変量正規分布の仮定を緩和する。多変量正規分布の仮定をガウス・コプシラに置き換えることで、従来の正規判別関数に比べて25–45%高い分類精度を達成し、特に高次元において優れた性能を発揮する。同時に、解析的取り扱いが可能であり、二次計画法を必要とせず、大容量メモリを要しない点でSVMを上回る場合もある。

ABSTRACT

A useful method for representing Bayesian classifiers is through \emph{discriminant functions}. Here, using copula functions, we propose a new model for discriminants. This model provides a rich and generalized class of decision boundaries. These decision boundaries significantly boost the classification accuracy especially for high dimensional feature spaces. We strengthen our analysis through simulation results.

研究の動機と目的

• 従来のベイジアン分類器が多変量正規分布を仮定するため、周辺分布が正規性から逸脱する場合に失敗するという限界を解消すること。
• コプシラ理論を用いて、周辺分布とは独立して結合依存構造をモデル化する一般化された判別関数の開発。
• ヒューズ現象が標準判別関数の性能を低下させる高次元特徴空間における分類精度の向上。
• 二次計画法を回避し、メモリ要件を低減することで、SVMの計算負荷を軽減する効率的な代替手法の提供。

提案手法

• スクラーの定理を用いて、多変量結合分布を周辺分布と、依存構造を捉えるコプシラ関数に分解する。
• ガウス・コプシラを用いて特徴間の結合依存構造をモデル化し、正規周辺分布を仮定しない柔軟なモデリングを可能にする。
• コプシラに基づく結合密度とクラス条件付き事前確率を組み合わせることで、コプシラ判別関数を導出する。これによりベイズ意思決定ルールを実現する。
• 訓練データをソートした上で、経験的最尤法（EML）を用いてコプシラパラメータを推定する。複雑な最適化を回避する。
• 新しいサンプルを分類する際には、コプシラモデルに基づいて後erior確率を最大化する。
• 特徴のランクベース変換を用いて、コプシラモデルに使用する経験的周辺累積分布関数を推定する。

実験結果

リサーチクエスチョン

• RQ1 コプシラ関数は、解析的取り扱いを保ちつつ、ベイジアン分類器における結合依存構造を効果的にモデル化できるか？
• RQ2 高次元設定において、コプシラベースの判別関数は、標準的な多変量正規判別関数と比べてどのように性能を発揮するか？
• RQ3 提案手法は、高次元分類におけるヒューズ現象をどの程度軽減できるか？
• RQ4 コプシラベースの分類器は、カーネル法の計算負荷を回避しながら、SVMと同等の分類精度を達成できるか？

主な発見

• コプシラ判別関数は、高次元特徴空間において、標準的な多変量正規判別関数に比べて25%～45%の分類精度向上を達成した。
• この手法は高次元において優れた安定性と性能を示し、正規判別関数の精度を低下させるヒューズ現象を効果的に是正した。
• ガウス・コプシラベースの分類器は、RBFカーネルを用いたSVMと同等の精度を達成し、特にトレードオフパラメータCがln²C = {−5, ..., 15}の範囲で顕著であった。
• コプシラアプローチは二次計画法の解法を回避し、SVMに比べて計算コストとメモリ使用量を削減した。
• 訓練データのソーティングのみで経験的周辺分布を推定できるため、O(n log n)の前処理が可能であり、閉形式でのパラメータ推定が可能である。
• 特徴の周辺分布が非正規（例：ガンマ分布、スルツ分布、対数正規分布、カイ二乗分布）であっても、正規判別関数を上回る性能を示し、周辺分布の仮定に強く依存しない堅牢性を示した。