[논문 리뷰] Robust Classification for Imprecise Environments

Foster Provost, Tom Fawcett|ArXiv.org|2000. 09. 13.

Imbalanced Data Classification Techniques참고 문헌 28인용 수 83

한 줄 요약

이 논문은 클래스 분포와 오분류 비용이 불확실한 환경에서 분류기 간 비교 및 조합을 위한 강건한 프레임워크인 ROC 볼록껍질(ROCCH) 방법을 제안한다. ROC 분석, 의사결정 이론, 계산 기하학을 활용하여 ROCCH는 다양한 비용 및 분포 가정에 걸쳐 최고의 개별 분류기 이상의 성능을 보이며, 일부 경우에서는 이를 초월하는 하이브리드 분류기를 식별한다.

ABSTRACT

In real-world environments it usually is difficult to specify target operating conditions precisely, for example, target misclassification costs. This uncertainty makes building robust classification systems problematic. We show that it is possible to build a hybrid classifier that will perform at least as well as the best available classifier for any target conditions. In some cases, the performance of the hybrid actually can surpass that of the best known classifier. This robust performance extends across a wide variety of comparison frameworks, including the optimization of metrics such as accuracy, expected cost, lift, precision, recall, and workforce utilization. The hybrid also is efficient to build, to store, and to update. The hybrid is based on a method for the comparison of classifier performance that is robust to imprecise class distributions and misclassification costs. The ROC convex hull (ROCCH) method combines techniques from ROC analysis, decision analysis and computational geometry, and adapts them to the particulars of analyzing learned classifiers. The method is efficient and incremental, minimizes the management of classifier performance data, and allows for clear visual comparisons and sensitivity analyses. Finally, we point to empirical evidence that a robust hybrid classifier indeed is needed for many real-world problems.

연구 동기 및 목표

• 목표 오분류 비용과 클래스 사전 확률이 모호하거나 알려져 있지 않을 때 기존 분류기 선택 방법의 취약성을 해결한다.
• 비용 및 분포 매개변수에 대한 불확실성에도 효과적으로 작동하는 다수의 분류기를 비교하고 조합할 수 있는 방법을 개발한다.
• 사전에 알려지지 않은 목표 운영 조건이라도 어떤 경우에도 최적의 성능을 보이는 하이브리드 분류기 시스템을 구축할 수 있도록 한다.
• 모든 조합의 가정에 대해 잠재적으로 최적일 수 있는 분류기들만 식별하여 성능 데이터의 관리 부담을 최소화한다.
• 기울어진 분포와 동적 비용 구조를 포함한 실제 응용에 적합한 확장성 있고, 인크리멘탈이며 효율적인 솔루션을 제공한다.

제안 방법

• 모든 가능한 분류 임계값에서의 분류기 성능을 표현하기 위해 ROC 분석을 사용한다.
• 계산 기하학을 적용하여 ROC 공간 내 모든 분류기 점들의 볼록껍질을 계산함으로써 ROC 볼록껍질(ROCCH)을 형성한다.
• ROCCH는 특정 오분류 비용과 클래스 사전 확률 조합에 대해 최적인 분류기 집합을 나타낸다.
• ROCCH 상에 위치한 분류기의 부분집합을, 어떤 목표 조건에서도 최적 성능을 낼 수 있는 유일한 후보로 식별한다.
• 런타임 시 타겟 비용 및 분포 매개변수에 따라 가중치를 적용하여 ROCCH 상의 분류기를 조합하여 하이브리드 분류기를 구성한다.
• 인크리멘탈 업데이트를 지원한다: 전체 껍질을 다시 계산하지 않고도 새로운 분류기를 추가할 수 있어 효율성을 유지한다.

실험 결과

연구 질문

• RQ1 클래스 분포와 오분류 비용에 대한 불확실성 하에서도 강건한 분류기 비교 방법을 개발할 수 있는가?
• RQ2 모든 가능한 목표 조건에서 최고의 개별 분류기 이상의 성능을 보이는 하이브리드 분류기를 구축할 수 있는가?
• RQ3 ROCCH 방법은 주어진 비용 및 분포 조합에 대해 잠재적으로 최적일 수 있는 분류기 집합을 효율적으로 식별할 수 있는가?
• RQ4 ROCCH에서 유도된 하이브리드 분류기는 특정 시나리오에서 최고의 개별 분류기보다 더 나은 성능을 낼 수 있는가?
• RQ5 모호한 매개변수에 강건성을 유지하면서도 성능 데이터를 효율적으로 관리할 수 있는 방법은 무엇인가?

주요 결과

• ROCCH 방법은 특정 비용 및 분포 가정에 종속되지 않는 분류기 성능 평가를 분리함으로써 강건한 프레임워크를 제공한다.
• ROCCH에서 유도된 하이브리드 분류기는 어떤 목표 비용 및 분포 구성이라도 최고의 개별 분류기 이상의 성능을 보장한다.
• 일부 경우에서 하이브리드 분류기는 최고의 개별 분류기보다 더 나은 성능을 낼 수 있으며, 특히 최적 운영 지점이 개별 모델 성능 사이에 위치할 경우에 특히 그렇다.
• ROCCH 방법은 계산적으로 효율적이며 인크리멘탈이므로, 전체 성능 비교를 다시 계산하지 않고도 새로운 분류기를 동적으로 추가할 수 있다.
• ROC 공간의 볼록껍질 상에 모든 잠재적으로 최적의 분류기를 표시함으로써 명확한 시각적 분석과 민감도 분석을 가능하게 한다.
• 사기 탐지 및 기타 실제 응용 사례에서의 실증적 증거는, 기울어진 분포와 불확실한 비용 환경에서 이러한 강건한 시스템의 필요성을 뒷받침한다.