[論文レビュー] A Constructive Algorithm for Feedforward Neural Networks for Medical Diagnostic Reasoning

Abu Bakar Siddiquee, Md. Ehsanul Hoque Mazumder+1 more|arXiv (Cornell University)|Sep 23, 2010

Neural Networks and Applications参考文献 4被引用数 7

ひとこと要約

本論文は、医療診断意思決定における順方向ニューラルネットワークの学習のための構成的アルゴリズムを提案する。隠れユニットを段階的に追加することで、最小限かつ正確なアーキテクチャを達成する。バックプロパゲーションを用いることで、Cancer1、Heart、Diabetes などのベンチマークデータセットにおいて分類性能が向上し、最適なネットワークサイズと低減された複雑性を実現する強力な汎化性能を示している。

ABSTRACT

This research is to search for alternatives to the resolution of complex medical diagnosis where human knowledge should be apprehended in a general fashion. Successful application examples show that human diagnostic capabilities are significantly worse than the neural diagnostic system. Our research describes a constructive neural network algorithm with backpropagation; offer an approach for the incremental construction of nearminimal neural network architectures for pattern classification. The algorithm starts with minimal number of hidden units in the single hidden layer; additional units are added to the hidden layer one at a time to improve the accuracy of the network and to get an optimal size of a neural network. Our algorithm was tested on several benchmarking classification problems including Cancer1, Heart, and Diabetes with good generalization ability.

研究の動機と目的

• 医療診断タスクのための近似的に最小の順方向ニューラルネットワークアーキテクチャを段階的に構築する構成的アルゴリズムの開発を目的とする。
• 性能フィードバックに基づいて動的に隠れユニットを追加することで、医療診断における分類精度の向上を図ること。
• 実世界の医療データセットにおいて、強力な汎化性能を達成する最適なネットワークサイズを実現すること。
• 人間の専門家知識への依存を減らし、ネットワークアーキテクチャの構築を自動化すること。
• Cancer1、Heart、Diabetes などの標準ベンチマークデータセットにおいて、本手法の有効性を示すこと。

提案手法

• アルゴリズムは、1つの隠れ層に最小限の数の隠れユニットから開始する。
• 分類精度の向上を目的に、段階的に1つの隠れユニットずつ追加する。
• 各隠れユニットの追加後にバックプロパゲーションを用いてネットワークを訓練する。
• さらなる追加が分類性能を向上させない限り、プロセスを継続する。
• ネットワークの複雑さと分類精度のバランスを最適化することに焦点を当てる。
• 固定またはランダムに初期化された構造ではなく、構成的かつ段階的な方法でアーキテクチャを構築する。

実験結果

リサーチクエスチョン

• RQ1 構成的アルゴリズムは、医療診断分類のための最小限かつ効果的な順方向ニューラルネットワークを動的に構築できるか？
• RQ2 段階的な隠れユニットの追加は、医療データセットにおける分類精度と汎化性能にどのように影響するか？
• RQ3 従来のバックプロパゲーションと比較して、この手法はどれほどネットワークの複雑さを低減しつつ、性能を維持または向上できるか？
• RQ4 Cancer1、Heart、Diabetes などのベンチマーク医療データセットにおいて、このアルゴリズムはより良い汎化性能を達成できるか？
• RQ5 このアプローチは、医療診断システムにおける専門家が定義したネットワークアーキテクチャへの依存をどれほど低減できるか？

主な発見

• 提案されたアルゴリズムは、段階的な隠れユニットの追加により、近似的に最小のニューラルネットワークアーキテクチャを成功裏に構築した。
• 本手法は、Cancer1、Heart、Diabetes のベンチマークデータセットにおいて良好な汎化性能を示した。
• 各段階的な隠れユニットの追加が、収束に達するまで分類精度を向上させた。
• 最終的なネットワークサイズは、精度と複雑さのバランスを最適化するために調整され、過学習を回避した。
• 本手法は、従来の固定アーキテクチャのバックプロパゲーションよりも、効率性と最小化の観点で優れていた。
• アルゴリズムは、医療診断アプリケーションにおけるネットワーク構造の手動チューニングの必要性を効果的に低減した。