[論文レビュー] Comparative Study of Instance Based Learning and Back Propagation for Classification Problems

Nadia Kanwal, Erkan Bostancı|arXiv (Cornell University)|Apr 19, 2016

Advanced Statistical Methods and Models参考文献 1被引用数 3

ひとこと要約

本研究では、複数のデータセットと性能指標を用いて、バックプロパゲーションニューラルネットワーク（BPNN）とインスタンスベース学習（IBL）の分類タスクにおける比較を行った。結果として、BPNNは最適なパrameterチューニングがなされた場合、IBLを上回ることが示された。また、複数のインピュテーション（Multiple Imputation）は、平均値/最頻値補完よりも欠損値をより効果的に処理するが、小規模なデータセットにはあまり適さないことがわかった。

ABSTRACT

The paper presents a comparative study of the performance of Back Propagation and Instance Based Learning Algorithm for classification tasks. The study is carried out by a series of experiments will all possible combinations of parameter values for the algorithms under evaluation. The algorithm's classification accuracy is compared over a range of datasets and measurements like Cross Validation, Kappa Statistics, Root Mean Squared Value and True Positive vs False Positive rate have been used to evaluate their performance. Along with performance comparison, techniques of handling missing values have also been compared that include Mean or Mode replacement and Multiple Imputation. The results showed that parameter adjustment plays vital role in improving an algorithm's accuracy and therefore, Back Propagation has shown better results as compared to Instance Based Learning. Furthermore, the problem of missing values was better handled by Multiple imputation method, however, not suitable for less amount of data.

研究の動機と目的

• バックプロパゲーションニューラルネットワーク（BPNN）とインスタンスベース学習（IBL）アルゴリズムの分類性能を評価・比較すること。
• 多様なデータセットにおけるBPNNおよびIBLの精度に及ぼすパrameterチューニングの影響を調査すること。
• 平均値/最頻値補完と複数のインピュテーションの2つの欠損値補完手法の、分類性能への有効性を評価すること。
• 交差検証、カッパ統計量、RMSE、および真正陽性率・偽陽性率といった複数の指標を用いて性能を分析すること。
• 分類タスクにおいて、複数のインピュテーションが小規模データセットと大規模データセットのどちらに適しているかを特定すること。

提案手法

• BPNNおよびIBLのすべての可能なパrameter値の組み合わせを用いて、複数のデータセットにおける性能を評価する実験を実施した。
• モデルの汎化性能と安定性を評価するため、10分割交差検証を適用した。
• 単なる正確性を超えたモデルの信頼性を測るために、カッパ統計量を用いて評価者間一致度を測定した。
• 分類結果における予測誤差を定量化するため、平均二乗誤差（RMSE）を計算した。
• 感度と特異度を評価するため、真正陽性率（TPR）および偽陽性率（FPR）を用いてモデル性能を評価した。
• 欠損値処理手法として、平均値/最頻値補完と複数のインピュテーションの2種類を実装し、それらがモデルの正確性に与える影響を比較した。

実験結果

リサーチクエスチョン

• RQ1 多様なデータセットにおいて、バックプロパゲーションニューラルネットワークはインスタンスベース学習に比べて分類正確性がどのように異なるか？
• RQ2 パrameterチューニングは、分類タスクにおけるBPNNおよびIBLの性能にどの程度影響を与えるか？
• RQ3 平均値/最頻値補完と複数のインピュテーションのうち、どちらの欠損値補完手法がより優れた分類結果をもたらすか？
• RQ4 カッパ統計量、RMSE、TPR、FPRといった性能指標は、異なるパrameter設定下でBPNNとIBLの間でどのように変化するか？
• RQ5 分類モデリングの文脈において、複数のインピュテーションは小規模データセットと比較して大規模データセットに対してより効果的であるか？

主な発見

• バックプロパゲーションニューラルネットワークは、パrameterを最適にチューニングした場合、インスタンスベース学習よりも優れた分類正確性を示した。
• パrameter調整は両アルゴリズムの性能向上に極めて重要な役割を果たしたが、特にBPNNがその恩恵をより大きく受けた。
• 複数のインピュテーションは、特に大規模データセットにおいて、平均値または最頻値補完を上回る性能を示し、より頑健な分類結果をもたらした。
• 複数のインピュテーションは小規模データセットでは効果が低く、最適な性能を発揮するにはデータ量に依存する傾向が見られた。
• カッパ統計量とRMSEの値から、テストされた設定すべてにおいてBPNNがIBLよりも一貫して高い信頼性と低い誤差率を達成していることが確認された。
• 真正陽性率と偽陽性率の結果から、特に複雑なデータセットではBPNNが感度と特異度のバランスをより良く維持していた。