[논문 리뷰] How Complex is your classification problem? A survey on measuring classification complexity

Ana Carolina Lorena, Luís P. F. Garcia외 3명|arXiv (Cornell University)|2018. 08. 10.

Machine Learning and Data Classification참고 문헌 106인용 수 48

한 줄 요약

이 설문은 분류 문제에 대한 데이터 기반 복잡도 측정을 검토하고, 이를 범주화하며, 강점/약점을 분석하고, R에서 Extended Complexity Library (ECoL)를 도입합니다.

ABSTRACT

Characteristics extracted from the training datasets of classification problems have proven to be effective predictors in a number of meta-analyses. Among them, measures of classification complexity can be used to estimate the difficulty in separating the data points into their expected classes. Descriptors of the spatial distribution of the data and estimates of the shape and size of the decision boundary are among the known measures for this characterization. This information can support the formulation of new data-driven pre-processing and pattern recognition techniques, which can in turn be focused on challenges highlighted by such characteristics of the problems. This paper surveys and analyzes measures which can be extracted from the training datasets in order to characterize the complexity of the respective classification problems. Their use in recent literature is also reviewed and discussed, allowing to prospect opportunities for future work in the area. Finally, descriptions are given on an R package named Extended Complexity Library (ECoL) that implements a set of complexity measures and is made publicly available.

연구 동기 및 목표

• 분류 문제의 복잡성을 특징지리는 데 사용되는 기존의 데이터 기반 측정치를 요약한다.
• 측정치를 일관된 범주로 정리한다(특징 기반, 선형성, 이웃성, 네트워크, 차원, 클래스 불균형).
• 각 측정치의 강점, 약점 및 실용적 고려사항에 대해 논의한다.
• 연구 간 비교 가능성을 높이기 위한 표준화 및 적응을 제안한다.
• R에서 Extended Complexity Library (ECoL)의 구현 및 가용성을 제시한다.

제안 방법

• 훈련 데이터에서 추출된 복잡도 측정치의 설문조사와 합성.
• 명확성을 위해 미리 정의된 범주로 측정치를 재구성.
• 측정 정의를 제한된 구간으로 표준화하고 해석을 상호 비교 가능하게 한다.
• 계산 비용과 이진/다중 클래스 설정에 대한 적용 가능성에 대해 논의한다.
• 측정을 구현하고 재구현으로서 DCoL에 연결하는 ECoL R 패키지를 제시한다.

실험 결과

연구 질문

• RQ1 다양한 영역에 걸친 분류 문제의 복잡성을 가장 잘 포착하는 데이터 기반 측정치는 무엇인가?
• RQ2 메타분석에서 공정한 비교를 가능하게 하도록 기존의 복잡도 측정치를 어떻게 표준화할 수 있는가?
• RQ3 주요 복잡도 측정치의 실제적 한계와 계산 비용은 무엇인가?
• RQ4 Extended Complexity Library (ECoL)이 복잡도 인식 방법의 연구와 적용을 어떻게 촉진할 수 있는가?

주요 결과

• 본 설문은 다수의 측정군(특성 겹침, 분리성, 기하/밀도)을 통합하고 선행 연구를 넘어 확장한다.
• 많은 측정치가 가정(예: 정상성, 축 정렬 경계)에 의존하며 소음 및 특징 수에 따라 민감도가 달라진다는 점을 강조한다.
• 연속 특성의 이산화 및 다중 클래스 문제의 OVO 분해와 같은 실용적 이슈를 논의한다.
• 표준화하고 광범위한 복잡도 측정치를 구현하는 ECoL(R 패키지)을 도입하며, 적응 및 보정을 포함한다.
• ML 문헌의 응용은 복잡도 측정치가 전처리 및 알고리즘 선택 전략에 어떻게 정보를 제공하는지 보여준다.