[논문 리뷰] Convex Hull-Based Multi-objective Genetic Programming for Maximizing ROC Performance

Pu Wang, Michael Emmerich외 4명|arXiv (Cornell University)|2013. 03. 13.

Imbalanced Data Classification Techniques참고 문헌 6인용 수 4

한 줄 요약

이 논문은 이질적 지표 기반 선택 기법을 사용하여 ROC 볼록껍질(ROCCH)을 최대화함으로써 분류기 성능을 햖थ한 볼록껍질 기반 다목적 유전적 프로그래밍 접근법인 CH-MOGP를 제안한다. 기존의 파레토 지배 기반 접근 방식이 아닌 볼록껍질 아래 면적을 최대화하는 데 초점을 맞춤으로써, CH-MOGP는 NSGA-II, MOEA/D, SMS-EMOA 및 전통적인 기계학습 방법(C4.5, PRIE)에 비해 22개의 UCI 데이터셋에서 더 나은 ROCCH 근사치를 달성한다.

ABSTRACT

ROC is usually used to analyze the performance of classifiers in data mining. ROC convex hull (ROCCH) is the least convex major-ant (LCM) of the empirical ROC curve, and covers potential optima for the given set of classifiers. Generally, ROC performance maximization could be considered to maximize the ROCCH, which also means to maximize the true positive rate (tpr) and minimize the false positive rate (fpr) for each classifier in the ROC space. However, tpr and fpr are conflicting with each other in the ROCCH optimization process. Though ROCCH maximization problem seems like a multi-objective optimization problem (MOP), the special characters make it different from traditional MOP. In this work, we will discuss the difference between them and propose convex hull-based multi-objective genetic programming (CH-MOGP) to solve ROCCH maximization problems. Convex hull-based sort is an indicator based selection scheme that aims to maximize the area under convex hull, which serves as a unary indicator for the performance of a set of points. A selection procedure is described that can be efficiently implemented and follows similar design principles than classical hyper-volume based optimization algorithms. It is hypothesized that by using a tailored indicator-based selection scheme CH-MOGP gets more efficient for ROC convex hull approximation than algorithms which compute all Pareto optimal points. To test our hypothesis we compare the new CH-MOGP to MOGP with classical selection schemes, including NSGA-II, MOEA/D) and SMS-EMOA. Meanwhile, CH-MOGP is also compared with traditional machine learning algorithms such as C4.5, Naive Bayes and Prie. Experimental results based on 22 well-known UCI data sets show that CH-MOGP outperforms significantly traditional EMOAs.

연구 동기 및 목표

• 이질적 분포와 오분류 비용이 변할 때 최적의 분류기를 선택하는 데 핵심적인 역할을 하는 ROC 볼록껍질(ROCCH) 성능을 최대화하는 문제를 해결하기 위해.
• 기존의 다목적 최적화 접근 방식(NSGA-II, SMS-EMOA 등)이 ROCCH 최대화에 적용될 경우, ROCCH 문제의 고유한 기하학적 및 조합적 특성으로 인해 약점이 드러나는 이유를 규명하기 위해.
• 파레토 지배 최적화에만 초점을 맞추는 것이 아니라, ROC 공간에서 볼록껍질 면적을 확장하는 데 우선순위를 두는 새로운 선택 메커니즘을 개발하기 위해.
• 다목적 유전적 프로그래밍 프레임워크에 볼록껍질 기반 정렬 및 면적 기반 선택 기법을 도입함으로써 ROCCH 근사치의 탐색 효율성과 수렴 속도를 향상시키기 위해.

제안 방법

• 기존의 비지배 정렬을 대체하여 ROC 공간에서 볼록껍질 면적 확장을 기여도 기반으로 순위를 매기는 볼록껍질 기반 정렬 기법을 제안한다.
• 다양성 유지와 최적 볼록껍질 향한 수렴을 촉진하기 위해 $\nu$-플러스-$\nu$ 환경 선택 전략을 활용한 면적 기반 선택 기법을 도입한다.
• 개체가 결정 트리 또는 규칙 집합을 나타내며, 적합도 평가가 ROC 곡선 생성 및 볼록껍질 계산을 통해 이루어지는 다목적 유전적 프로그래밍 프레임워크를 활용한다.
• 진화 과정을 유도하기 위해 볼록껍질 아래 면적을 주요 성능 지표로 사용하는 단항 지표를 사용한다.
• 볼록껍질 기반 알고리즘에 영향을 받은 히퍼볼륨 기반 알고리즘의 선택 절차를 모티브로 삼되, ROCCH 최대화의 기하학적 제약 조건에 맞게 적응시킨다.
• 22개의 UCI 기준 데이터셋에 대해 NSGA-II, MOEA/D, SMS-EMOA, C4.5, 나이브 베이즈, PRIE와의 성능 비교를 수행한다.

실험 결과

연구 질문

• RQ1 볼록껍질 면적 확장을 강조하는 맞춤형 지표 기반 선택 기법이 기존의 다목적 최적화 알고리즘보다 ROCCH 최대화에서 뛰어난 성능을 내는가?
• RQ2 CH-MOGP는 전통적인 EMOAs(NSGA-II, MOEA/D, SMS-EMOA)에 비해 ROCCH 근사 품질과 수렴 속도 측면에서 어떻게 비교되는가?
• RQ3 제안된 볼록껍질 기반 정렬 기법은 진화 과정 중에 다양성을 유지하면서 중복된 해를 피할 수 있는가?
• RQ4 CH-MOGP는 C4.5, 나이브 베이즈, PRIE와 같은 전통적 기계학습 분류기보다 ROCCH 성능 최대화에서 어떻게 성능을 발휘하는가?
• RQ5 CH-MOGP의 계산 비용은 실용적 적용에 제한을 줄 정도로 높은가? 그리고 ROCCH 품질을 희생시키지 않고 이를 줄일 수 있는가?

주요 결과

• CH-MOGP는 22개의 UCI 데이터셋 전반에서 NSGA-II, MOEA/D, SMS-EMOA보다 뛰어난 ROC 볼록껍질 근사치를 달성하였으며, 볼록껍질 아래 면적 측정치와 상단 왼쪽 ROC 공간의 더 나은 커버리지로 이를 입증하였다.
• 제안된 볼록껍질 기반 정렬 및 면적 기반 선택 기법은 평가 예산이 제한된 상황에서도 효과적으로 인구 집단의 다양성을 유지하고 조기 수렴을 방지하였다.
• C4.5, 나이브 베이즈, PRIE보다도 CH-MOGP가 더 나은 ROCCH 근사치를 달성하였으며, 이는 ROCCH 최대화에서 진화적 탐색이 탐욕적 또는 규칙 기반 방법보다 우월함을 보여준다.
• CH-MOGP는 계산 비용이 높아 'skin' 데이터셋에서 최대 91,856.38초가 소요되었지만, ROCCH 품질 향상의 성과로 인해 이에 상응하는 성과를 거두었다.
• 95% 신뢰수준에서 실시한 윌코신 순서합 검정을 통해 CH-MOGP의 성능이 벤치마크 전체에서 비교 기준보다 통계적으로 유의미하게 뛰어나다는 것이 확인되었다.
• 결과적으로 ROCCH 최대화 문제는 표준 다목적 문제와는 달라 특수한 선택 메커니즘이 필요하며, CH-MOGP에서 제안한 메커니즘이 최적의 성능을 달성하는 데 필수적임을 시사한다.