[論文レビュー] Evaluation of Predictive Data Mining Algorithms in Erythemato-Squamous Disease Diagnosis

Kwetishe Joro Danjuma, Adenike Osofisan|arXiv (Cornell University)|Jan 3, 2015

Artificial Intelligence in HealthcareHealth Professions参考文献 43被引用数 19

ひとこと要約

本研究では、366例の患者症例からなるデータセットを用いて、発疹性乾性皮膚疾患の診断に、ナイーブベイズ、マルチレイヤーパーセプトロン、J48意思決定木の3つのアルゴリズムを評価した。10-fold交差検証を用いた結果、ナイーブベイズが97.4%の最高精度を達成し、マルチレイヤーパーセプトロン（96.6%）およびJ48（93.5%）を上回り、臨床的データマイニング応用における優れた予測性能を示した。

ABSTRACT

A lot of time is spent searching for the most performing data mining algorithms applied in clinical diagnosis. The study set out to identify the most performing predictive data mining algorithms applied in the diagnosis of Erythemato-squamous diseases. The study used Naive Bayes, Multilayer Perceptron and J48 decision tree induction to build predictive data mining models on 366 instances of Erythemato-squamous diseases datasets. Also, 10-fold cross-validation and sets of performance metrics were used to evaluate the baseline predictive performance of the classifiers. The comparative analysis shows that the Naive Bayes performed best with accuracy of 97.4%, Multilayer Perceptron came out second with accuracy of 96.6%, and J48 came out the worst with accuracy of 93.5%. The evaluation of these classifiers on clinical datasets, gave an insight into the predictive ability of different data mining algorithms applicable in clinical diagnosis especially in the diagnosis of Erythemato-squamous diseases.

研究の動機と目的

• 発疹性乾性皮膚疾患を診断するための最も効果的な予測データマイニングアルゴリズムを特定すること。
• 366例の臨床的データセットを用いた、ナイーブベイズ、マルチレイヤーパーセプトロン、J48分類器の性能を評価すること。
• 標準化された性能指標と10-fold交差検証を用いて、これらのアルゴリズムの予測精度を比較すること。
• データマイニング技術の、複雑な皮膚科疾患の臨床的診断における応用可能性についての知見を提供すること。

提案手法

• 本研究では、モデルの学習と評価に、発疹性乾性皮膚疾患症例366例のデータセットを用いた。
• ナイーブベイズ、マルチレイヤーパーセプトロン、J48意思決定木の3つの予測データマイニングアルゴリズムを、このデータセット上で学習およびテストした。
• すべての分類器に対して、堅牢で偏りのない性能推定を確保するため、10-fold交差検証を適用した。
• 分類器の有効性を比較するために、精度、適合率、再現率、F-measureといった標準指標を用いて性能を評価した。
• モデルは標準的な機械学習フレームワークを用いて実装され、各foldにおける結果を集約して全体の性能を決定した。
• 分類器の順位付けを目的とした、予測精度および一貫性に基づく比較分析を実施した。

実験結果

リサーチクエスチョン

• RQ1 ナイーブベイズ、マルチレイヤーパーセプトロン、J48の中から、発疹性乾性皮膚疾患の診断精度が最も高いデータマイニングアルゴリズムはどれか？
• RQ2 366例の実臨床データセットに適用した場合、これらの分類器の性能指標はどのように比較されるか？
• RQ3 10-fold交差検証下で、各アルゴリズムの相対的な安定性と信頼性はいかがなっているか？
• RQ4 従来の方法と比較して、データマイニング技術は発疹性乾性皮膚疾患の診断精度を顕著に向上させることができるか？

主な発見

• ナイーブベイズは、発疹性乾性皮膚疾患の診断において97.4%の最高精度を達成し、テストされた3つのアルゴリズムの中で最も優れた性能を示した。
• マルチレイヤーパーセプトロンは96.6%の高い精度を示し、予測能力において2番目に優れていた。
• J48意思決定木は3つのうちで最も低い精度（93.5%）を示し、このデータセットにおける汎化能力の低さがうかがえた。
• 比較分析の結果、ナイーブベイズがこの臨床的データセットにおいて最も信頼性の高い予測性能を提供することが確認された。
• 3つのアルゴリズムすべてが全体として高い精度を示しており、皮膚科診断におけるデータマイニング技術の強力な可能性が示された。
• 結果から、アルゴリズムの選択が診断性能に顕著な影響を与えることが明らかとなり、本データセットではナイーブベイズが最適な選択肢であると結論づけられた。