[論文レビュー] Neural eliminators and classifiers

Włodzisław Duch, Rafał Adamczak+1 more|arXiv (Cornell University)|Jan 28, 2019

Neural Networks and Applications参考文献 15被引用数 4

ひとこと要約

本論文では、重複するデータやノイズの多いデータにおける分類の信頼性の低さに対処するため、単一クラス予測の代わりに低確率クラスの排除を行うニューラルエリミネーターを提案する。誤差関数を修正し、分類器からの確率的出力を用いることで、特に50個のFSMニューラルネットワークの委員会を用いることで、2つのクラスを除外することを許容した場合、テストデータで92%の正確性を達成し、困難な医療診断タスクにおける信頼性の高い意思決定支援を可能にする。

ABSTRACT

Classification may not be reliable for several reasons: noise in the data, insufficient input information, overlapping distributions and sharp definition of classes. Faced with several possibilities neural network may in such cases still be useful if instead of a classification elimination of improbable classes is done. Eliminators may be constructed using classifiers assigning new cases to a pool of several classes instead of just one winning class. Elimination may be done with the help of several classifiers using modified error functions. A real life medical application of neural network is presented illustrating the usefulness of elimination.

研究の動機と目的

• 重なり合うデータやノイズの多いデータにおける従来の分類の限界に対処すること、特にクラス境界が曖昧な医療診断の文脈で。
• 分布が重複し、クラスラベルが曖昧または不完全な状況において、標準的な分類の信頼性の低さを克服すること。
• 単一のクラスラベルを割り当てるのではなく、あり得ないクラスを排除することで意思決定支援を向上させる手法を開発すること。
• 確率的出力とクラス排除に特化した修正誤差関数を用いることで、分類器の信頼性を向上させること。
• 個々の分類が不確実な場合に、残りのクラスの混合に属するケースを特定できること。

提案手法

• 多層パーセプトロンやFSMネットワークなどの分類器からの確率的出力を利用して、事後確率 $ p(C_k|\mathbf{X};M) $ を推定する。
• 真のクラスが最も高い出力ではなく、上位-k番目に高い出力のうちの1つになるように促進する修正誤差関数を適用する。
• 誤差行列の分析を用いてエリミネーターを構築し、関係のないクラスを誤って排除する誤差を最小化するようにモデルを訓練する。
• 二段階のシステムを実装する：第一段階では、50個のFSMネットワークの委員会を用いて高信頼度のケースを分類する。第二段階では、不確実なケースに対して2つのクラスを同時に除外する。
• モンテカルロ推定を用いて非確率的モデルの確率を導出し、信頼度の評価を可能にする。
• 正しく分類された出力が上位2位以内に含まれる場合を許容する誤差関数を用いて「スーパーシステム」を最適化し、緩い成功基準を可能にする。

実験結果

リサーチクエスチョン

• RQ1 重なり合うデータにおいて、ニューラルネットワークを再訓練し、単一クラス予測の代わりに低確率クラスの排除を優先させることは可能か？
• RQ2 真のクラスが上位-k出力に含まれるよう目的とした場合、誤差関数を変更することで分類性能にどのような影響が生じるか？
• RQ3 標準的な分類が失敗する状況において、クラス排除が医療診断の意思決定支援にどの程度向上をもたらすか？
• RQ4 確率的ニューラルネットワークの委員会を用いることで、クラス排除の信頼性にどのような影響があるか？
• RQ5 高信頼度分類とクラス排除を組み合わせたハイブリッドシステムは、標準的な分類器よりも全体の正確性を向上させられるか？

主な発見

• 50個のFSMニューラルネットワークの委員会は、テストセットで81%の分類正確性を達成したが、そのうち高信頼度（確率 >0.9）で誤って分類されたケースは4.3%にとどまった。
• 真のクラスが上位2つの出力のうちの1つに含まれる場合を正解とみなす緩い成功基準を採用したことで、正確性は約90%に向上した。
• 真のクラスが上位2位の出力に含まれるよう促進する修正誤差関数を用いて「スーパーシステム」を訓練した結果、テストセットで92%の正確性を達成した。
• 2番目に高い出力に $ p \geq 0.2 $ の閾値を適用した場合、正確性は87%に低下し、信頼度閾値に敏感であることが示された。
• エリミネーションアプローチにより、テストケースの約80%で信頼性のある診断が可能となり、残りの半数の不確実なケースは、残りの2つのクラスの混合に割り当てられた。
• 本手法は、ナイーブベイズ、kNN、ルールベースシステムなど、標準的な分類器よりも顕著に優れており、同じデータセットで55%未満の正確性を示した。