[論文レビュー] How Complex is your classification problem? A survey on measuring classification complexity

Ana Carolina Lorena, Luís P. F. Garcia+3 more|arXiv (Cornell University)|Aug 10, 2018

Machine Learning and Data Classification参考文献 106被引用数 48

ひとこと要約

この調査は、分類問題のデータ駆動型複雑さ指標をレビューし、特徴づけ、強みと弱みを分類し、Extended Complexity Library (ECoL) を R で紹介します。

ABSTRACT

Characteristics extracted from the training datasets of classification problems have proven to be effective predictors in a number of meta-analyses. Among them, measures of classification complexity can be used to estimate the difficulty in separating the data points into their expected classes. Descriptors of the spatial distribution of the data and estimates of the shape and size of the decision boundary are among the known measures for this characterization. This information can support the formulation of new data-driven pre-processing and pattern recognition techniques, which can in turn be focused on challenges highlighted by such characteristics of the problems. This paper surveys and analyzes measures which can be extracted from the training datasets in order to characterize the complexity of the respective classification problems. Their use in recent literature is also reviewed and discussed, allowing to prospect opportunities for future work in the area. Finally, descriptions are given on an R package named Extended Complexity Library (ECoL) that implements a set of complexity measures and is made publicly available.

研究の動機と目的

• 既存のデータ駆動指標を要約して、分類問題の複雑さを特徴づけるためのものとする。
• 指標を一貫したカテゴリに整理する（特徴量ベース、線形性、近傍、ネットワーク、次元性、クラス不均衡）。
• 各指標の長所・短所および実務上の考慮事項を議論する。
• 標準化と適応を提案し、研究間の比較可能性を向上させる。
• ECoL の R 実装と DCoL へのリ実装としての橋渡しを提示する。

提案手法

• 訓練データから抽出された複雑さ指標の調査と統合。
• 明確さのために指標を事前定義のカテゴリに再編成。
• 定義を境界付き区間と意味論の比較可能性に標準化。
• 連続特徴量の離散化や多クラス設定への適用性と計算コストを議論。
• 指標を実装し、DCoL への橋渡しを行う ECoL R パッケージの提示。

実験結果

リサーチクエスチョン

• RQ1 さまざまな領域で、データ由来の指標は分類問題の複雑さを最もよく捉えるのか。
• RQ2 メタ分析における公正な比較を可能にするため、既存の複雑さ指標を標準化するにはどうすればよいか。
• RQ3 主要な複雑さ指標の実務的制限と計算コストは何か。
• RQ4 Extended Complexity Library (ECoL) は複雑さを意識した手法の研究と適用をどう促進できるか。

主な発見

• 本調査は、特徴量の重なり、判別性、幾何/密度といった複数ファミリの指標を統合し、先行研究を超える拡張を行っている。
• 多くの指標が正規性や軸整列境界といった仮定に依存しており、ノイズや特徴数の影響を受けやすいことを強調している。
• continuous features の離散化や多クラス問題に対するOVO分解といった実務上の問題を議論している。
• 広範な複雑さ指標を標準化・実装した R パッケージとして ECoL を紹介しており、適応と補正を含む。
• 機械学習文献における複雑さ指標が前処理やアルゴリズム選択戦略の情報提供に寄与する事例を示している。