[論文レビュー] Reliable Evaluation of Neural Network for Multiclass Classification of Real-world Data

S Inamadar Dinesh, Tirtharaj Dash|arXiv (Cornell University)|Nov 30, 2016

Neural Networks and Applications参考文献 5被引用数 5

ひとこと要約

この論文は、正解率以外の複数のパフォーマンス指標を用いて、多クラスニューラルネットワーク分類器を評価し、歪んだ現実世界のデータセットでは予測正解率が信頼できないことを示している。研究では、マイクロ平均およびマクロ平均の適合率、再現率、Fスコアが、特にクラス不均衡が存在する状況においてより頑健な評価を提供することを示している。

ABSTRACT

This paper presents a systematic evaluation of Neural Network (NN) for classification of real-world data. In the field of machine learning, it is often seen that a single parameter that is 'predictive accuracy' is being used for evaluating the performance of a classifier model. However, this parameter might not be considered reliable given a dataset with very high level of skewness. To demonstrate such behavior, seven different types of datasets have been used to evaluate a Multilayer Perceptron (MLP) using twelve(12) different parameters which include micro- and macro-level estimation. In the present study, the most common problem of prediction called 'multiclass' classification has been considered. The results that are obtained for different parameters for each of the dataset could demonstrate interesting findings to support the usability of these set of performance evaluation parameters.

研究の動機と目的

• 多クラス分類におけるニューラルネットワークのパフォーマンスを評価する際の、正解率への過剰な依存を是正すること。
• 特にマイクロおよびマクロ平均指標を含む、さまざまなパフォーマンス指標の信頼性が、歪んだ現実世界のデータセットにおいてどうなるかを調査すること。
• 高正解率が、特に不均衡なデータセットにおいて、マイノリティクラスでの性能が著しく悪いことを隠している可能性があることを示すこと。
• モデルの信頼性を確保するための包括的で一貫した評価フレームワークを、複数の補完的指標を用いて提示すること。

提案手法

• クラスの偏り具合が異なる7つの現実世界のデータセットに対して、マルチレイヤーパーセプトロン（MLP）を評価した。
• 微分類ごとの適合率、再現率、Fスコア、特異度を含む12種類のパフォーマンス指標を用い、異なるクラス分布におけるモデルの挙動を評価した。
• 隠れニューロン数を60、80、100と変化させることで、モデルのアーキテクチャの複雑さがパフォーマンス指標に与える影響を分析した。
• 微分類およびマクロレベルでの標準的分類指標（正解率、適合率、再現率、Fスコア）を計算し、クラスごとの性能の不均衡を検出した。
• 複数のデータセット間での比較を通じて、異なる偏りの程度における指標の信頼性のパターンを同定した。
• ソコロヴァとラプラム（2009年）が提示した多クラス拡張用の標準的評価式（例：Fスコア、適合率、再現率）を用いた混同行列の分析を行った。

実験結果

リサーチクエスチョン

• RQ1 データセットが著しく歪んでいる状況下で、多クラス分類におけるニューラルネットワークの評価に正解率が信頼できる指標であるか？
• RQ2 不均衡なデータセットにおいて、マイクロおよびマクロ平均指標は正解率に比べて、モデルの信頼性をどのようにより的確に検出できるか？
• RQ3 MLPの隠れニューロン数を増やすことで、すべての評価指標において性能が一貫して向上するか？
• RQ4 適合率、再現率、Fスコアといった指標は、正解率だけでは見えないクラスごとの性能問題をどの程度明らかにできるか？
• RQ5 本質的にクラス不均衡を含む現実世界の多クラスデータセットにおいて、ニューラルネットワークの評価に最も頑健なパフォーマンス指標は何か？

主な発見

• アバロンデータセットでは、正解率が約92％という高い水準であったが、適合率やFスコアは信頼できない水準に留まり、マイノリティクラスでの性能が著しく低いことが示された。
• アバロン、E-coli、ガラスの各データセットでは、正解率だけでは誤解を招く結果となった。マイクロおよびマクロ平均指標により、特定のクラスでの性能低下が明確に浮き彫りになった。
• 乳癌データセットでは、隠れニューロン数の増加に伴い、すべての指標で一貫した改善が見られた。これは、このデータセットは偏りが少なく、正解率が信頼できる指標であることを示している。
• アイrisデータセットでは、隠れニューロン数が80のときに最良の性能が達成され、マイクロおよびマクロ適合率・再現率が優れていた。これは、指標の多様性の重要性を強調している。
• ワインデータセットでは、隠れニューロン数の増加に伴い、すべての指標で着実な改善が見られた。これは、クラス分布がバランスしているため、正解率が妥当な代理指標であったと考えられる。
• 本研究では、勾配降下法が常に最適な重みセットに収束するとは限らず、初期のランダム重みが結果に大きな影響を与えることが判明した。これは、モデルの性能が実行回数によって変動することを示唆している。