[論文レビュー] General Regression Neural Networks, Radial Basis Function Neural Networks, Support Vector Machines, and Feedforward Neural Networks

Alison Jenkins, Vinika Gupta+1 more|arXiv (Cornell University)|Nov 16, 2019

Traffic Prediction and Management Techniques参考文献 5被引用数 4

ひとこと要約

本研究では、F1スコアと正解率を最大化する最適なσ値を特定するために、一般回帰ニューラルネットワーク（GRNN）、径路基底関数ニューラルネットワーク（RBFNN）、サポートベクターマシン（SVM）、フィードフォワードニューラルネットワーク（FFNN）を比較した。二値ラベル付けされたデータセットを用い、GRNNには遺伝的アルゴリズム、RBFNNのクラスタリングにはコホネンLVQ、SVMおよびFFNNの学習にはscikit-learnを適用した。その結果、LVQ-IIを用いたRBFNNがF1スコア0.3726、正解率0.2735を達成し、非LVQバージョンを上回る性能を示した。

ABSTRACT

The aim of this project is to develop a code to discover the optimal sigma value that maximum the F1 score and the optimal sigma value that maximizes the accuracy and to find out if they are the same. Four algorithms which can be used to solve this problem are: Genetic Regression Neural Networks (GRNNs), Radial Based Function (RBF) Neural Networks (RBFNNs), Support Vector Machines (SVMs) and Feedforward Neural Network (FFNNs).

研究の動機と目的

• 複数の機械学習モデルにおいて、F1スコアを最大化する最適なσ値を特定すること。
• 分類正解率を最大化する最適なσ値を特定し、F1スコア最適化のσ値と比較すること。
• 回帰問題から得た二値ラベル付けされたデータセットにおけるGRNN、RBFNN、SVM、FFNNの性能を評価すること。
• RBFNNにコホネン非教師あり学習とバックプロパゲーションを組み込むことで、モデル性能に与える影響を評価すること。
• すべての4つのアルゴリズムにおける統計的性能指標（正解率、適合率、再現率、F1）を比較すること。

提案手法

• 一般回帰ニューラルネットワーク（GRNN）におけるσ値の最適化に、ステディステート遺伝的アルゴリズム（SSGA）を用いた。
• RBFNNに2つのバージョンを実装した：クラスタ中心および幅の最適化にコホネンLVQ-IおよびLVQ-IIを用いたものと、そうでないもの。
• ユークリッド距離に基づく非教師ありクラスタリングにLVQ-Iを適用し、勝者単位および隣接単位の重みを更新した。
• 正しく分類された場合に報酬を与え、誤分類を罰する「良心要因」を用いて、LVQ-IIでクラスタリングを洗練させた。
• scikit-learnを用いて、線形カーネルおよび径路基底関数（RBF）カーネルを用いたSVMを学習し、学習データ90％、テストデータ10％に分割した。
• シグモイド活性化関数を用い、1層、2層、4層の隠れ層を持つフィードフォワードニューラルネットワーク（FFNN）を、さまざまなσ値で学習した。

実験結果

リサーチクエスチョン

• RQ1 テスト対象のモデルにおいて、F1スコアを最大化するσ値と正解率を最大化するσ値は異なるか？
• RQ2 コホネン非教師あり学習とバックプロパゲーションをRBFNNに組み込むことで、標準的なRBFNNと比較して性能にどのような影響を与えるか？
• RQ3 GRNN、RBFNN、SVM、FFNNの4つのモデルの中で、二値ラベル付けされたデータセットにおいて最高のF1スコアと正解率を達成するのはどれか？
• RQ4 LVQネットワークにおけるクラスタ単位の優位性の影響は何か？また、良心要因はこの問題をどのように緩和するか？
• RQ5 SVMにおけるカーネルタイプ（線形対RBF）の違いが、F1および正解率の観点からモデル性能に与える影響は何か？

主な発見

• コホネン非教師あり学習とバックプロパゲーションを組み込んだRBFNNは、F1スコア0.3726を達成し、非LVQバージョン（0.2342）を著しく上回った。
• LVQ-IIを用いたRBFNNは、正解率0.2735を達成し、非LVQバージョンの0.2367と比較して、より良い一般化性能を示した。
• 線形カーネルを用いたSVM（SVM 3）は、F1スコア0.4643および正解率0.4342を記録し、他のすべてのモデルを上回った。
• GRNNとEGRNN-Iは同等の性能を示し、EGRNN-Iはわずかに高い正解率（0.4328）とF1スコア（0.3369）を達成した。
• フィードフォワードニューラルネットワーク（FFNN）は性能が低く、正解率0.1293、F1スコア0.2986にとどまり、このデータセットでは有効性が限定的であった。
• F1スコアと正解率を最適化するσ値は、モデルごとに一致しなかったため、2つの目的には別個のハイパーパramータチューニングが必要であることが確認された。