[논문 리뷰] Revisiting Data Complexity Metrics Based on Morphology for Overlap and Imbalance: Snapshot, New Overlap Number of Balls Metrics and Singular Problems Prospect

José Daniel Pascual-Triana, David Charte외 3명|arXiv (Cornell University)|2020. 07. 15.

Imbalanced Data Classification Techniques참고 문헌 88인용 수 21

한 줄 요약

이 논문은 데이터의 클래스 오버랩과 불균형을 측정하기 위해 클래스별 구를 얼마나 필요한지 측정함으로써 데이터 복잡도를 평가하는 새로운 데이터 복잡도 측정지표인 오버랩 넘버 오브 볼스(ONB)라는 가족을 제안한다. 이는 분류 성능과 강한 상관관계를 보이며, 기존 측정지표에 비해 오버랩 추정 능력을 향상시킨다. ONB 측정지표는 특히 불균형적이고 오버랩되는 데이터셋에 대해 형태학적 복잡도 평가에서 뛰어난 성능을 보이며, 다중 레이블 및 다중 인스턴스 학습과 같은 특수 문제에 복잡도 분석을 적응시키는 기반을 마련한다.

ABSTRACT

Data Science and Machine Learning have become fundamental assets for companies and research institutions alike. As one of its fields, supervised classification allows for class prediction of new samples, learning from given training data. However, some properties can cause datasets to be problematic to classify. In order to evaluate a dataset a priori, data complexity metrics have been used extensively. They provide information regarding different intrinsic characteristics of the data, which serve to evaluate classifier compatibility and a course of action that improves performance. However, most complexity metrics focus on just one characteristic of the data, which can be insufficient to properly evaluate the dataset towards the classifiers' performance. In fact, class overlap, a very detrimental feature for the classification process (especially when imbalance among class labels is also present) is hard to assess. This research work focuses on revisiting complexity metrics based on data morphology. In accordance to their nature, the premise is that they provide both good estimates for class overlap, and great correlations with the classification performance. For that purpose, a novel family of metrics have been developed. Being based on ball coverage by classes, they are named after Overlap Number of Balls. Finally, some prospects for the adaptation of the former family of metrics to singular (more complex) problems are discussed.

연구 동기 및 목표

• 기존 데이터 복잡도 측정지표가 오버랩이나 불균형과 같은 단일 특성에 집중함에 따라 복합 효과를 포착하지 못하는 한계를 해결하기 위해.
• 데이터의 구조를 구 커버리지 분석을 통해 오버랩과 불균형을 동시에 추정하는 형태학적 측정지표의 새로운 가족을 개발하기 위해.
• 이러한 신규 측정지표가 다양한 분류기와 데이터셋을 통해 실제 분류 성능과 강한 상관관계를 가지는지 평가하기 위해.
• 다중 레이블, 다중 인스턴스, 다중 시각 학습과 같은 특수 분류 문제에 형태학적 복잡도 측정지표의 적용 범위를 확장하기 위해.

제안 방법

• 모든 데이터 포인트를 커버하기 위해 필요한 클래스별 구의 수를 측정함으로써 데이터 복잡도를 정량화하는 새로운 측정지표 가족인 오버랩 넘버 오브 볼스(ONB)를 제안한다.
• 구를 데이터 포인트를 중심으로 하되, 같은 클래스의 가장 가까운 이웃으로부터 결정되는 반경을 가진 초구로 정의하여 클래스별 커버리지를 보장한다.
• 오버랩 영역를 커버하기 위해 필요한 구의 수를 집계함으로써 ONB 측정지표를 계산하며, 높은 수치는 더 큰 오버랩과 복잡도를 나타낸다.
• 성능 검증을 위해 인스턴스 기반, 의사결정수형, 베이지안 분류기 등 다양한 패러다임을 결합한 실험 설계를 실시한다.
• 일관된 오버랩과 불균형을 가진 인공 데이터셋과 실제 벤치마크 데이터셋에 ONB 측정지표를 적용하여 일반화 능력을 확보한다.
• 특수 문제에 적응시키기 위해 중심점과 거리 측정법을 재정의한다. 예를 들어, 다중 인스턴스 학습에서는 백의 평균을 중심으로, 다중 시각 문제에서는 특징 간 호환성을 기반으로 한다.

실험 결과

연구 질문

• RQ1 오버랩과 불균형을 동시에 추정할 수 있는 형태학적 측정지표인 ONB는 단일 특성 중심의 측정지표보다 더 정확하고 종합적인 데이터 복잡도 추정이 가능한가?
• RQ2 다양한 학습 알고리즘과 데이터셋을 통해 ONB 측정지표가 실제 분류 성능과 얼마나 강한 상관관계를 가지는가?
• RQ3 특히 어려운 불균형적이고 오버랩되는 상황에서 ONB 측정지표가 오버랩과 불균형을 동시에 얼마나 잘 추정할 수 있는가?
• RQ4 ONB 측정지표는 다중 레이블, 다중 인스턴스, 다중 시각 학습과 같은 특수 분류 문제에 어떻게 적응시킬 수 있는가?
• RQ5 ONB 측정지표는 최신 기술의 복잡도 측정지표보다 분류기 성능 예측과 사전 처리 필요성 식별에서 뛰어난 성능을 보이는가?

주요 결과

• 특히 ONBman_avg가 ROC 곡선 아래 면적과 기하 평균과 같은 분류 성능 측정지표와 강한 상관관계를 보였다.
• ONB 측정지표는 기존 측정지표보다 더 신뢰할 수 있고 정보적인 오버랩 추정을 제공하며, 복잡한 경계 구조를 더 잘 포착한다.
• 제안된 형태학적 접근은 오버랩과 불균형을 하나의 복잡도 측정지표에 효과적으로 통합하여 데이터 난이도에 대한 더 종합적인 평가를 가능하게 한다.
• ONB 측정지표는 인스턴스 기반, 의사결정수형, 베이지안 모델을 포함한 다양한 분류기 유형에 대해 뛰어난 강건성을 보였다.
• 다중 인스턴스 및 다중 레이블 학습과 같은 특수 문제에 ONB를 적응시키는 방법론은 실현 가능하며, 중심점과 거리 선택 전략을 통해 해석 가능성도 유지한다.
• 본 연구는 데이터 형태학이 불균형적이고 오버랩되는 데이터셋에서 전통적 측정지표가 부족한 상황에서 복잡도 분석에 매우 유용한 시각임을 입증하였다.