[論文レビュー] A Nonparametric Ensemble Binary Classifier and its Statistical Properties

Tanujit Chakraborty, Ashis Kumar Chakraborty+1 more|arXiv (Cornell University)|Apr 29, 2018

Neural Networks and Applications参考文献 33被引用数 18

ひとこと要約

本稿では、高次元で小規模から中規模の医療データセットにおいて、普遍的安定性と高い精度を達成するために、分類木（CT）と人工ニューラルネットワーク（ANN）を組み合わせた非パrametricアンサンブル二値分類器を提案する。この手法は、CTを特徴量選択の手段とし、また単一隠れ層のANNの入力特徴量としても用いる。解析的に導出された最適なニューロン数を用いることで、最先端のモデルと比較してハイパーパramータチューニングが大幅に削減され、優れた性能を発揮する。

ABSTRACT

In this work, we propose an ensemble of classification trees (CT) and artificial neural networks (ANN). Several statistical properties including universal consistency and upper bound of an important parameter of the proposed classifier are shown. Numerical evidence is also provided using various real life data sets to assess the performance of the model. Our proposed nonparametric ensemble classifier doesn't suffer from the `curse of dimensionality' and can be used in a wide variety of feature selection cum classification problems. Performance of the proposed model is quite better when compared to many other state-of-the-art models used for similar situations.

研究の動機と目的

• 分類木（CT）と人工ニューラルネットワーク（ANN）の長所を統合した非パrametricアンサンブル分類器を開発し、分類精度を向上させること。
• 提案されたアンサンブルモデルに対して、普遍的安定性および隠れ層のニューロン数の上界に関する理論的保証を確立すること。
• 深層または複雑なニューラルネットワークと比較して、ハイパーパrameterの数を削減し、解釈可能性を向上させること。
• 特に医療応用を想定し、高次元で小規模から中規模のデータセットにおいて、効果的な特徴量選択と分類を可能にすること。
• ハイブリッドCT-ANNモデルにおける経験的成果と理論的裏付けのギャップを埋めること。

提案手法

• まず、データに対して分類木（CT）を訓練し、重要な特徴量を特定するとともに、クラス予測を生成する。
• CTが予測したクラスラベルを、単一隠れ層の前向き伝搬ニューラルネットワーク（ANN）の追加入力特徴量として使用する。
• CTで選択された特徴量とCTの出力を用いて、シグモイド活性化関数と最小-最大正規化された入力データを用いてANNを訓練する。
• 隠れ層の最適なニューロン数を、O(√(n / (dm log n)))として解析的に導出する。ここで、nは訓練サンプル数、dmはANNの入力特徴量数である。
• 実世界の医療データセットにアンサンブルモデルを適用し、ランダムフォレスト（RF）、SVM、DNDTなどの最先端分類器と性能を比較する。
• ANNの訓練にはneuralnet Rパッケージを用い、計算コストとメモリ使用量を低く保つ。

実験結果

リサーチクエスチョン

• RQ1 ハイブリッドCT-ANNアンサンブルモデルは、計算コストを低く抑え、ハイパーパrameterチューニングを最小限に抑えながら、普遍的安定性を達成できるか？
• RQ2 CTが予測したクラスラベルを入力特徴量として組み込むことで、後続のANNの分類性能が向上するか？
• RQ3 提案されたアンサンブルモデルのANN部における隠れ層の最適なニューロン数は何か？
• RQ4 高次元で小規模から中規模の医療データセットにおいて、提案モデルは既存の最先端分類器と比較して、精度と頑健性に優れているか？
• RQ5 CTに基づく特徴量選択は、アンサンブルフレームワークにおけるモデル性能と解釈可能性をどの程度向上させるか？

主な発見

• 提案されたアンサンブルCT-ANNモデルは普遍的安定性を達成しており、信頼性の高い理論的基盤を提供する。
• 隠れ層の最適なニューロン数は、理論的にO(√(n / (dm log n)))として導出され、ハイパーパrameterチューニングの必要性が顕著に低減される。
• 6つの実医用データセットにおいて、全モデルの中で最高の全体精度（ウィsconsin乳癌データで97.30％）とF-measure（0.98）を達成した。
• 特に特徴量選択と分類精度において、ランダムフォレスト、SVM、ディープニューラル意思決定木（DNDT）などの最先端モデルを上回った。
• 計算コストとメモリ使用量が低く抑えられ、DNDTのようなGPU依存モデルと比較して、トレーニング時間とリソース要件が顕著に少なかった。
• CT出力を入力特徴量に組み込むことで、クラス分離性が向上し、特に複雑な高次元特徴空間において性能向上に寄与した。