[論文レビュー] Convex Hull-Based Multi-objective Genetic Programming for Maximizing ROC Performance

Pu Wang, Michael Emmerich+4 more|arXiv (Cornell University)|Mar 13, 2013

Imbalanced Data Classification Techniques参考文献 6被引用数 4

ひとこと要約

本稿では、AUCの上昇を目的としたROC凸包（ROCCH）の近似を向上させるために、凸包に基づく多目的遺伝的プログラミング手法CH-MOGPを提案する。従来のPareto優位性ではなく、凸包の面積に注目することで、NSGA-II、MOEA/D、SMS-EMOA、およびC4.5やPRIEといった従来の機械学習手法と比較して、22個のUCIデータセットにおいて優れたROCCH近似性能を達成する。

ABSTRACT

ROC is usually used to analyze the performance of classifiers in data mining. ROC convex hull (ROCCH) is the least convex major-ant (LCM) of the empirical ROC curve, and covers potential optima for the given set of classifiers. Generally, ROC performance maximization could be considered to maximize the ROCCH, which also means to maximize the true positive rate (tpr) and minimize the false positive rate (fpr) for each classifier in the ROC space. However, tpr and fpr are conflicting with each other in the ROCCH optimization process. Though ROCCH maximization problem seems like a multi-objective optimization problem (MOP), the special characters make it different from traditional MOP. In this work, we will discuss the difference between them and propose convex hull-based multi-objective genetic programming (CH-MOGP) to solve ROCCH maximization problems. Convex hull-based sort is an indicator based selection scheme that aims to maximize the area under convex hull, which serves as a unary indicator for the performance of a set of points. A selection procedure is described that can be efficiently implemented and follows similar design principles than classical hyper-volume based optimization algorithms. It is hypothesized that by using a tailored indicator-based selection scheme CH-MOGP gets more efficient for ROC convex hull approximation than algorithms which compute all Pareto optimal points. To test our hypothesis we compare the new CH-MOGP to MOGP with classical selection schemes, including NSGA-II, MOEA/D) and SMS-EMOA. Meanwhile, CH-MOGP is also compared with traditional machine learning algorithms such as C4.5, Naive Bayes and Prie. Experimental results based on 22 well-known UCI data sets show that CH-MOGP outperforms significantly traditional EMOAs.

研究の動機と目的

• 二値分類におけるROC凸包（ROCCH）性能の最大化という課題に取り組む。これは、クラス分布や誤分類コストの変化に応じた最適な分類器選択に不可欠である。
• ROCCH最大化に応用された従来の多目的最適化手法（例：NSGA-II、SMS-EMOA）の限界を特定する。これは、ROCCH問題が持つ特異な幾何学的・組合せ的構造に起因する。
• Pareto優位性の最適化にとどまらず、ROC空間における凸包面積の拡大を優先する、新たな選択メカニズムを提案する。
• 遺伝的プログラミングフレームワーク内に、凸包に基づくソーティングと面積に基づく選択スキームを導入することで、ROCCH近似の探索効率と収束性を向上させる。

提案手法

• ROC空間における凸包面積の拡大に寄与する度合いに基づいて解を順位付けする、凸包に基づくソーティング機構を提案。従来の非優位ソーティングに代わるものである。
• 多目的遺伝的プログラミングフレームワークにおいて、個体は意思決定木またはルール集合を表し、フィットネスはROC曲線の生成と凸包計算によって評価される。
• 環境選択戦略として、$ u$-プラス-$ u$を用いた面積ベースの選択スキームを導入し、多様性の維持と最適凸包への収束を促進する。
• 進化的プロセスを最適化するための主な性能指標として、凸包下の面積（単一指標）を用いる。
• ハイパーボリュームに基づくアルゴリズムにインspiredされたカスタム選択手順を実装するが、ROCCH最大化の幾何的制約に適応させたものである。
• 22個のUCIベンチマークデータセットに本手法を適用し、NSGA-II、MOEA/D、SMS-EMOA、C4.5、ナイーブベイズ、PRIEと性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 凸包面積拡大に重点を置いた、特化した指標に基づく選択スキームが、古典的な多目的最適化アルゴリズムを上回る性能を示せるか？
• RQ2 CH-MOGPは、NSGA-II、MOEA/D、SMS-EMOAといった従来のEMOAsと比較して、ROCCH近似品質および収束速度において優れているか？
• RQ3 提案された凸包に基づくソーティング機構は、進化過程において多様性を保ちつつ、重複する解の生成を回避できるか？
• RQ4 CH-MOGPは、C4.5、ナイーブベイズ、PRIEといった従来の機械学習分類器と比較して、ROCCH性能の最大化において優れているか？
• RQ5 CH-MOGPの計算コストは、実用的応用を制限する要因となり得るが、ROCCH品質を損なわずに低減可能か？

主な発見

• CH-MOGPは、22個のUCIデータセットすべてにおいて、NSGA-II、MOEA/D、SMS-EMOAを顕著に上回るROC凸包（ROCCH）近似性能を示した。これは、凸包下の面積が優れており、ROC空間の左上領域をよりよくカバーしていることから裏付けられている。
• 提案された凸包に基づくソーティングと面積ベースの選択スキームは、評価予算が限られた状況下でも、多様性の維持と早期収束の回避に効果を発揮した。
• CH-MOGPは、C4.5、ナイーブベイズ、PRIEよりも優れたROCCH近似を達成しており、ROCCH最大化において、勾配的またはルールベース手法に比べて進化的探索の優位性を示している。
• 計算コストは高め（例：'skin'データセットでは最大91,856.38秒を要したが）、その性能向上の恩恵がROCCH品質の面で正当化される。
• 95%信頼水準でのWilcoxon符号順位検定により、CH-MOGPの性能はベンチマーク全般において、比較対象のすべてのベースラインを統計的に上回っていることが確認された。
• 結果から、ROCCH最大化は標準的な多目的最適化問題ではなく、最適な結果を得るには、CH-MOGPで提案されたような特化した選択メカニズムが必要であることが示された。