[論文レビュー] Can FCA-based Recommender System Suggest a Proper Classifier?

Yury Kashnitsky, Dmitry I. Ignatov|arXiv (Cornell University)|Apr 21, 2015

Rough Sets and Fuzzy Logic参考文献 3被引用数 5

ひとこと要約

本論文は、訓練データ内の最近傍の分類性能に基づき、各テストインスタンスに最も適した基本分類器を推薦するための推薦ベースの複数分類器システム（RMCS）を提案する。この手法は、類似するインスタンスを正しく分類した分類器を選択することで、多クラスのUCIデータセット（digitsやnurseryなど）において、基本分類器や標準的なアンサンブル手法を上回る精度を達成する。

ABSTRACT

The paper briefly introduces multiple classifier systems and describes a new algorithm, which improves classification accuracy by means of recommendation of a proper algorithm to an object classification. This recommendation is done assuming that a classifier is likely to predict the label of the object correctly if it has correctly classified its neighbors. The process of assigning a classifier to each object is based on Formal Concept Analysis. We explain the idea of the algorithm with a toy example and describe our first experiments with real-world datasets.

研究の動機と目的

• 多クラス分類において、個々のテストインスタンスに最も適した分類器を選択する課題に対処すること。
• 類似する訓練インスタンスで分類器の性能を活用することで、分類精度を向上させること。
• 形式的概念分析（FCA）を用いて、局所的な近傍類似度に基づき動的に分類器を割り当てる、新たなアンサンブル手法を開発すること。
• RMCSの有効性を、バギングやAdaBoostなどの標準アンサンブル手法と比較して評価すること。
• RMCSが従来のアンサンブル手法を上回る条件を特定し、計算効率を最適化すること。

提案手法

• オブジェクトを訓練インスタンス、属性を基本分類器とする訓練コンテキストを構築し、二値関係でインスタンスがその分類器によって正しく分類されたかどうかを示す。
• ガロア作用素を用いて拡張（extent）と意図（intent）を計算することで、形式的概念（同じ分類器によって正しく分類されたインスタンスのクラスタ）を発見するため、形式的概念分析（FCA）を適用する。
• 各テストインスタンスについて、類似度関数を用いて訓練セット内のk個の最近傍を特定し、その拡張と最近傍の重複度が最も高い形式的概念を選択する。
• 選択された概念の意図に含まれる分類器を用いてテストインスタンスのラベルを予測し、それらの分類器による投票で最終予測を決定する。
• k-fold交差検証を用いて訓練コンテキストを構築し、重複しないfoldで分類器の性能を評価することで、堅牢性を確保する。
• 最終的な予測は、選択された概念の意図に含まれる分類器の多数決によるものであり、局所的近傍の分類行動と整合性を保つ。

実験結果

リサーチクエスチョン

• RQ1 類似する訓練インスタンスで良好な性能を示した分類器を選択することで、全体の分類精度が向上するか？
• RQ2 RMCSアルゴリズムの性能は、多クラスデータセットにおいて、バギングやAdaBoostなどの標準アンサンブル手法と比べてどうか？
• RQ3 異なる距離尺度や類似度関数が、RMCSアルゴリズムの精度と効率に与える影響は何か？
• RQ4 RMCSがバギングやブースティングなどの従来のアンサンブル手法を上回る条件は何か？
• RQ5 形式的概念分析（FCA）を効果的に活用して、動的かつインスタンス固有の方法で分類器を推薦することは可能か？

主な発見

• digitsデータセットでは、k=5およびn_folds=10の条件下でRMCSは分類精度0.951を達成し、最高の基本分類器（SVM with RBFカーネル、0.937）およびバギング（0.927）を上回った。
• nurseryデータセットでは、k=5およびn_folds=10の条件下でRMCSは0.973の精度を達成し、最高の基本分類器（SVM with RBFカーネル、0.969）およびバギング（0.920）を上回った。
• RMCSは、マッシュルーム、アイオノスフィア、digits、nurseryの4つのUCIデータセットにおいて、すべての基本分類器を一貫して上回った。
• 多クラス問題（digitsおよびnursery）では、RMCSはバギングおよびAdaBoostの両方を上回ったが、二値問題（マッシュルームおよびアイオノスフィア）では、それらと同等またはわずかに優れた性能を示した。
• パラメータ設定の変更に対してもRMCSは頑健性を示し、k値やn_folds値を大きくした場合に精度の向上が観察された。
• RMCSの計算コストは基本分類器よりも顕著に高く、nurseryデータセットでは最大580秒に達したため、精度と効率のトレードオフが生じていることが示された。