[論文レビュー] Linear and Order Statistics Combiners for Pattern Classification

Kagan Tumer, Joydeep Ghosh|ArXiv.org|May 20, 1999

Neural Networks and Applications参考文献 67被引用数 137

ひとこと要約

本論文は、線形および順序統計的コンビナトリが意思決定境界の分散を最小化することで分類誤差を低減する仕組みを理解するための分析フレームワークを提示する。平均化によるN個の無相関分類器の組み合わせは誤差をN分の1に低減するが、中央値や最大値などの順序統計的コンビナトリは、分散が大きい状況、特に個々の分類器の性能に顕著な差がある場合に高いロバスト性を示す。

ABSTRACT

Several researchers have experimentally shown that substantial improvements can be obtained in difficult pattern recognition problems by combining or integrating the outputs of multiple classifiers. This chapter provides an analytical framework to quantify the improvements in classification results due to combining. The results apply to both linear combiners and order statistics combiners. We first show that to a first order approximation, the error rate obtained over and above the Bayes error rate, is directly proportional to the variance of the actual decision boundaries around the Bayes optimum boundary. Combining classifiers in output space reduces this variance, and hence reduces the "added" error. If N unbiased classifiers are combined by simple averaging, the added error rate can be reduced by a factor of N if the individual errors in approximating the decision boundaries are uncorrelated. Expressions are then derived for linear combiners which are biased or correlated, and the effect of output correlations on ensemble performance is quantified. For order statistics based non-linear combiners, we derive expressions that indicate how much the median, the maximum and in general the ith order statistic can improve classifier performance. The analysis presented here facilitates the understanding of the relationships among error rates, classifier boundary distributions, and combining in output space. Experimental results on several public domain data sets are provided to illustrate the benefits of combining and to support the analytical results.

研究の動機と目的

• 出力空間における分類器の組み合わせによる誤差低減を定量化する分析フレームワークの構築を目的とする。
• 意思決定境界の分散、ベイズ誤差、アンサンブル性能の関係を明確化することを目的とする。
• 個々の分類器のバイアス、相関、分散が組み合わせ性能に与える影響を分析することを目的とする。
• 線形コンビナトリ（平均化、重み付き平均化）と非線形な順序統計的コンビナトリ（中央値、最大値、i番目の順序統計量）の有効性を評価することを目的とする。
• 実世界のパターン認識問題における最適な分類器の組み合わせ戦略についての実用的知見を提供することを目的とする。

提案手法

• 特定の分布を仮定せずに意思決定境界を確率変数としてモデル化し、誤差分散の一般化された分析を可能にする。
• 追加誤差率が意思決定境界のベイズ最適値まわりの分散に比例することを示す式を導出する。
• 線形コンビナトリを分析し、バイアスと相関がアンサンブル誤差に与える影響を定量化し、無相関かつバイアスのない分類器では誤差がN分の1に低減されることを示す。
• ガウス誤差モデルを用いて順序統計的コンビナトリの性能限界を導出し、中央値、最大値、i番目の順序統計量の低減要因を計算する。
• 多クラス問題では、局所領域における事後確率が最も高い2つのクラスに限定して二クラス近似を適用する。
• 公開データセットを用いた実験により、分析結果の妥当性を検証し、個々の分類器と比較してコンビナトリの性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 出力空間における分類器の組み合わせがどのように分類誤差を低減するのか。その背後にあるメカニズムは何か。
• RQ2 個々の分類器が無相関かつバイアスのない場合、線形コンビナトリがどの程度誤差を低減できるか。
• RQ3 個々の分類器のバイアスと相関が線形コンビナトリの性能に与える影響は何か。
• RQ4 中央値や最大値などの順序統計的コンビナトリでは、どの程度の性能向上が達成できるか。
• RQ5 個々の分類器の性能に著しいばらつきがある場合、順序統計的コンビナトリが線形平均化を上回るシナリオはどのようなものか。特に、性能の変動が大きい状況で顕著に効果を発揮するか。

主な発見

• N個の無相関かつバイアスのない分類器では、単純な平均化により追加誤差率がN分の1に低減される。
• 線形コンビナトリは分散低減に最も効果的であり、個々の分類器がバイアスを有する場合には限界的な改善にとどまる。
• 中央値や最大値の順序統計的コンビナトリは、分散が大きい状況、特に個々の分類器の性能に顕著な差がある場合に顕著なロバスト性の向上を示す。
• 順序統計的コンビナトリは平均化と同等の性能を達成するが、個々の分類器の性能に著しいばらつきがある場合には、平均化よりも効果的に機能する。
• 組み合わせは過学習の補償にはなるが、重度の未学習の補償にはならないことから、バイアス低減よりも分散低減に強い効果を示す。
• 最適な性能を発揮する分類器の数は、Nが大きくなるとi.i.d.仮定の破綻に起因して次第に効果が薄れ、利得の逓減が顕著になる。