[論文レビュー] Bayesian Classification and Feature Selection from Finite Data Sets

Frans Coetzee, Steve Lawrence+1 more|arXiv (Cornell University)|Jan 16, 2013

Machine Learning and Algorithms参考文献 6被引用数 6

ひとこと要約

本稿は、有限のデータセットを用いたベイジアン分類および特徴選択の統計的信頼性を分析し、ネイマン＝ピアソン（NP）設計手順による受信者操作特性（ROC）曲線推定における誤差伝播に焦点を当てる。十分なデータがあれば推定性能曲線（EPC）は真のROC曲線に収束するが、尤度順序付けプロセスは推定誤差に対して極めて感受的であり、EPCの正確性を保証するには指数関数的に大きなデータサイズが必要となる可能性がある—実用上はNPアプローチが小規模な特徴集合に限られる。

ABSTRACT

Feature selection aims to select the smallest subset of features for a specified level of performance. The optimal achievable classification performance on a feature subset is summarized by its Receiver Operating Curve (ROC). When infinite data is available, the Neyman- Pearson (NP) design procedure provides the most efficient way of obtaining this curve. In practice the design procedure is applied to density estimates from finite data sets. We perform a detailed statistical analysis of the resulting error propagation on finite alphabets. We show that the estimated performance curve (EPC) produced by the design procedure is arbitrarily accurate given sufficient data, independent of the size of the feature set. However, the underlying likelihood ranking procedure is highly sensitive to errors that reduces the probability that the EPC is in fact the ROC. In the worst case, guaranteeing that the EPC is equal to the ROC may require data sizes exponential in the size of the feature set. These results imply that in theory the NP design approach may only be valid for characterizing relatively small feature subsets, even when the performance of any given classifier can be estimated very accurately. We discuss the practical limitations for on-line methods that ensures that the NP procedure operates in a statistically valid region.

研究の動機と目的

• 有限のデータセットからのROC曲線推定にネイマン＝ピアソン（NP）設計手順を用いる統計的妥当性を調査すること。
• 有限データにおける推定誤差が特徴選択および分類性能の信頼性に与える影響を評価すること。
• 推定性能曲線（EPC）が真のROC曲線と一致することを保証するためのデータサイズ要件を特定すること。
• 有限標本の枠組みにおけるNP手順に依存するオンライン手法の実用的制限を同定すること。
• NPベースのアプローチを用いた統計的に有効な分類を達成するための、特徴集合のサイズと実行可能性のトレードオフを評価すること。

提案手法

• 有限のデータセットから得られる密度推定値にNP設計手順を適用し、推定性能曲線（EPC）を生成する。
• 推定誤差がROC曲線の正確性に与える影響を焦点に、有限のアルファベットにおける誤差伝播の統計的分析を実施する。
• データサイズの増加に伴うEPCの真のROC曲線への収束を理論的に分析し、特徴集合のサイズに依存しないことを検証する。
• 尤度順序付けプロセスが推定誤差に対して感受的であるかを、特に高次元特徴空間において評価する。
• EPCが真のROCに等しくなることを保証する条件を導出し、データサイズの閾値を特定する。
• NP手順の統計的妥当性を保証するための最小データ要件を定量化する理論的境界を導出する。

実験結果

リサーチクエスチョン

• RQ1 有限のデータセットで訓練された場合、NP設計手順は真のROC曲線をどの程度正確に推定できるか？
• RQ2 有限標本における推定誤差が特徴選択に用いられる尤度順序付けに与える影響は何か？
• RQ3 EPCが真のROC曲線に等しくなることが保証されるデータサイズの条件は何か？
• RQ4 EPCの妥当性を確保するために、特徴集合の次元が増加するに従い、必要なデータサイズはどのようにスケーリングされるか？
• RQ5 有限標本設定におけるNP手順に依存するオンライン手法の実用的制限は何か？

主な発見

• 十分なデータがあれば、特徴集合のサイズにかかわらず推定性能曲線（EPC）は真のROC曲線に収束する。
• EPCの収束が確認されても、その背後にある尤度順序付けプロセスは推定誤差に対して極めて感受的であり、信頼性を損なう。
• EPCが真のROC曲線に等しくなることを保証するには、特徴数の増加に伴い指数関数的に増大するデータサイズが必要となる可能性がある。
• NP設計アプローチは、有限標本の枠組みにおいて、比較的小さな特徴サブセットに対してのみ理論的に妥当である。
• 実用的なオンライン手法は、統計的に有効な領域内での運用を必要とし、これによりデータの可用性および特徴次元数に厳しい制約が課される。
• 本研究は、高次元かつ有限データの設定において、正確な分類器性能推定と信頼性のある特徴選択の間に根本的な不整合が生じることを明らかにした。