[論文レビュー] Data Separability for Neural Network Classifiers and the Development of a Separability Index

Shuyue Guan, Murray H. Loew+1 more|arXiv (Cornell University)|May 27, 2020

Machine Learning and Data Classification参考文献 18被引用数 7

ひとこと要約

本論文は、ニューラルネットワーク分類器のためのデータセット分離可能性を定量化するモデルに依存しない指標である距離ベース分離性インデックス（DSI）を導入する。クラス間およびクラス内距離を分析することで、DSIは訓練収束速度と精度を効果的に予測し、合成データおよび実データにおいて既存の指標を上回る性能を示す。これにより、機械学習ワークフローにおけるデータ品質評価およびモデル選択が向上する。

ABSTRACT

In machine learning, the performance of a classifier depends on both the classifier model and the dataset. For a specific neural network classifier, the training process varies with the training set used; some training data make training accuracy fast converged to high values, while some data may lead to slowly converged to lower accuracy. To quantify this phenomenon, we created the Distance-based Separability Index (DSI), which is independent of the classifier model, to measure the separability of datasets. In this paper, we consider the situation where different classes of data are mixed together in the same distribution is most difficult for classifiers to separate, and we show that the DSI can indicate whether data belonging to different classes have similar distributions. When comparing our proposed approach with several existing separability/complexity measures using synthetic and real datasets, the results show the DSI is an effective separability measure. We also discussed possible applications of the DSI in the fields of data science, machine learning, and deep learning.

研究の動機と目的

• 異なるデータセットにおけるニューラルネットワーク訓練性能のばらつき、特に収束速度と精度の顕著な差異に対処すること。
• 分類器アーキテクチャに依存せず、異なるクラスのデータがどれだけ容易に分離できるかを定量化するモデルに依存しない指標を開発すること。
• 重複するか類似したクラス分布を示すデータが本質的に分類が難しいかどうかを評価し、その難易度を定量化すること。
• データサイエンティストや機械学習実務家が訓練前に対象データの品質を評価し、分類器の性能を予測できる実用的ツールを提供すること。

提案手法

• DSIは、特徴空間における平均クラス間距離と平均クラス内距離の比に基づいて計算される。
• ユークリッド距離を用いて、異なるクラスのデータポイント間の分離度と、各クラス内の密着度を測定する。
• インデックスは0〜1の範囲に正規化され、値が大きいほど分離性が優れていることを示す。
• 本手法は、制御されたクラス重複を有する合成データおよび実世界のデータセットに適用され、妥当性が検証された。
• 分類精度と収束速度を指標として用い、既存の分離可能性および複雑性指標と比較して評価が行われた。
• DSIは複数のニューラルネットワークアーキテクチャにわたって評価され、分類器モデルに依存しないことを確認した。

実験結果

リサーチクエスチョン

• RQ1 データセットにおけるクラス重複の度合いが、ニューラルネットワーク分類器の収束速度と最終的な精度にどのように影響するか？
• RQ2 訓練前に対象データセットの本質的分離可能性を定量化するモデルに依存しない指標を開発できるか？
• RQ3 提案されたDSIは、既存の分離可能性指標と比較して、分類器の性能予測にどの程度優れているか？
• RQ4 DSIは、損失の低下や精度の向上といった訓練ダイナミクスとどの程度相関しているか？

主な発見

• DSIは、クラス分布が重複するデータの分離難易度を効果的に捉えており、DSI値が高いほど収束が速く、精度も高くなる傾向を示した。
• 合成データセットにおいて、DSIは収束速度と最終的なモデル精度に対して強く相関しており、ベースラインの分離可能性指標を上回った。
• 実世界のデータセットにおいても、クラス重複によって本質的に分類が困難なデータ分布をDSIが的確に特定した。
• DSIは複数のニューラルネットワークアーキテクチャにわたって堅牢性を示し、分類器モデルに依存しないことを確認した。
• 同じ複雑性を示すが分離性が異なるデータセットを区別できることから、DSIはクラス分布の特性に敏感であることが明らかになった。