[論文レビュー] A New Fuzzy Stacked Generalization Technique for Deep learning and Analysis of its Performance

Mete Özay, Fatoş T. Yarman-Vural|arXiv (Cornell University)|Apr 3, 2012

Face and Expression Recognition参考文献 24被引用数 4

ひとこと要約

本論文では、異なる特徴量サブセット上で訓練された複数のファジィk-NN分類器を組み合わせることで、Nearest Neighbor分類器の性能を向上させる、Fuzzy Stacked Generalization (FSG) と呼ばれる新しいアンサンブル手法を提案する。ファジィ所属度の出力をメタラーナーで統合することで、小標本と大標本の分類誤差の差を低減し、AdaBoost や Random Subspace、Rotation Forest といった最先端の手法よりも、多特徴量の実世界データセットで優れた性能を発揮する。

ABSTRACT

In this study, a new Stacked Generalization technique called Fuzzy Stacked Generalization (FSG) is proposed to minimize the difference between N -sample and large-sample classification error of the Nearest Neighbor classifier. The proposed FSG employs a new hierarchical distance learning strategy to minimize the error difference. For this purpose, we first construct an ensemble of base-layer fuzzy k- Nearest Neighbor (k-NN) classifiers, each of which receives a different feature set extracted from the same sample set. The fuzzy membership values computed at the decision space of each fuzzy k-NN classifier are concatenated to form the feature vectors of a fusion space. Finally, the feature vectors are fed to a meta-layer classifier to learn the degree of accuracy of the decisions of the base-layer classifiers for meta-layer classification. Rather than the power of the individual base layer-classifiers, diversity and cooperation of the classifiers become an important issue to improve the overall performance of the proposed FSG. A weak base-layer classifier may boost the overall performance more than a strong classifier, if it is capable of recognizing the samples, which are not recognized by the rest of the classifiers, in its own feature space. The experiments explore the type of the collaboration among the individual classifiers required for an improved performance of the suggested architecture. Experiments on multiple feature real-world datasets show that the proposed FSG performs better than the state of the art ensemble learning algorithms such as Adaboost, Random Subspace and Rotation Forest. On the other hand, compatible performances are observed in the experiments on single feature multi-attribute datasets.

研究の動機と目的

• Nearest Neighbor分類器における小標本と大標本の分類誤差のギャップを是正すること。
• 個々の分類器の強さに依存するのではなく、ベース分類器間の多様性と協調性を活用することで一般化性能を向上させること。
• 分類性能における誤差差を最小化する階層的距離学習戦略を構築すること。
• ベース分類器の意思決定の信頼性を評価するメタラーニングフレームワークを設計すること。
• 全体の性能を最大化するためのベース分類器間の最適な協調パターンを同定すること。

提案手法

• 同じデータセットから抽出された異なる特徴量サブセット上で訓練された、ベースレイヤーのファジィk-NN分類器のアンサンブルを構築する。
• 各ファジィk-NN分類器の意思決定空間において、分類の信頼度を表すファジィ所属度を計算する。
• すべてのベース分類器から得られるファジィ所属度ベクトルを連結し、統合空間における特徴量ベクトルを形成する。
• 融合された特徴量ベクトル上でメタレイヤー分類器を訓練し、各ベース分類器の意思決定の正確度を学習する。
• 統合プロセスを最適化し、N標本と大標本の誤差率の乖離を低減するために、階層的距離学習戦略を採用する。
• メタラーナーを活用して、特徴空間の異なる領域においてベース分類器の出力を信頼性に応じて動的に重み付け・統合する。

実験結果

リサーチクエスチョン

• RQ1 Nearest Neighbor分類器における小標本と大標本の分類誤差のギャップをどのように最小化できるか？
• RQ2 提案されたFSGフレームワークにおいて、ベース分類器間のどの種類の協調がアンサンブル性能の向上に寄与するか？
• RQ3 メタラーナーは、ベース分類器の意思決定の信頼性を効果的に評価・活用できるか？
• RQ4 提案されたFSGは、AdaBoost や Random Subspace、Rotation Forest といった既存のアンサンブル手法と比較して、多特徴量データセットでどのように性能を発揮するか？
• RQ5 FSGアーキテクチャにおいて、弱いベース分類器が強いものよりも全体の性能に寄与する条件は何か？

主な発見

• FSGは、AdaBoost や Random Subspace、Rotation Forest といった最先端のアンサンブル学習アルゴリズムを、多特徴量の実世界データセットで顕著に上回る。
• 効果的な階層的距離学習とメタレベルの統合を通じて、N標本と大標本の分類誤差の差を低減した。
• ベース分類器間の多様性と協調性が、個々の分類器の強さよりも性能向上に重要であることが判明した。
• 弱いベース分類器は、独自の特徴空間で他の分類器が誤分類するサンプルを捉える場合、全体の性能を向上させることができる。
• 単一特徴量、多属性データセットでも同等の性能が得られたことから、データの複雑さのレベルにかかわらず堅牢であることが示された。
• メタラーナーは、ベース分類器の意思決定の正確度を効果的に学習できており、信頼性の高いアンサンブル出力を生成することが可能である。