[論文レビュー] Objective evaluation metrics for automatic classification of EEG events

Saeedeh Ziyabari, Vinit Shah+3 more|arXiv (Cornell University)|Dec 29, 2017

EEG and Brain-Computer Interfaces被引用数 16

ひとこと要約

本稿では、EEGイベント分類における従来の指標の限界を克服するため、2つの新しい評価指標—実用的語句加重値（ATWV）と時間整合イベントスコアリング（TAES）—を提案する。著者らはTUH EEGコロナスを用いて、深層学習モデルが高精度であるものの、高い誤報率のため臨床的受容基準に達しないこと、すなわち、現実世界での有用性と時間的整合性の正確さをよりよく反映する指標の必要性を示している。

ABSTRACT

The evaluation of machine learning algorithms in biomedical fields for applications involving sequential data lacks standardization. Common quantitative scalar evaluation metrics such as sensitivity and specificity can often be misleading depending on the requirements of the application. Evaluation metrics must ultimately reflect the needs of users yet be sufficiently sensitive to guide algorithm development. Feedback from critical care clinicians who use automated event detection software in clinical applications has been overwhelmingly emphatic that a low false alarm rate, typically measured in units of the number of errors per 24 hours, is the single most important criterion for user acceptance. Though using a single metric is not often as insightful as examining performance over a range of operating conditions, there is a need for a single scalar figure of merit. In this paper, we discuss the deficiencies of existing metrics for a seizure detection task and propose several new metrics that offer a more balanced view of performance. We demonstrate these metrics on a seizure detection task based on the TUH EEG Corpus. We show that two promising metrics are a measure based on a concept borrowed from the spoken term detection literature, Actual Term-Weighted Value (ATWV), and a new metric, Time-Aligned Event Scoring (TAES), that accounts for the temporal alignment of the hypothesis to the reference annotation. We also demonstrate that state of the art technology based on deep learning, though impressive in its performance, still needs significant improvement before it meets very strict user acceptance criteria.

研究の動機と目的

• 医療応用分野における自動EEGイベント分類のための標準的で臨床的意味のある評価指標の不足を解消すること。
• 集中治療環境におけるユーザー受容の主な基準としての低誤報率を強調する臨床医からのフィードバックに応えること。
• 感度と特異度をバランスさせつつ、検出されたイベントの時間的正確さを反映する単一のスカラー指標を構築すること。
• これらの新しい指標を用いて最先端の深層学習モデルの性能を評価し、臨床的準備状態を検証すること。
• 従来の指標（感度、特異度）では、臨床的EEGモニタリングシステムの真の性能要件を捉えられていないことの実証。

提案手法

• スプoken語句検出分野で用いられる実用的語句加重値（ATWV）の概念をEEGイベント分類に応用し、イベントの関連性と基準イベントからの時間的近接性に基づいて重み付けを行う。
• 予測値と基準アノテーションの間の時間的オフセットを明示的に考慮する新しい指標、時間整合イベントスコアリング（TAES）を提案する。
• 大規模かつ公開可能なEEGデータセットであるTUH EEGコロナスを用いて、てんかん検出タスクに両指標を適用する。
• 従来の指標（感度、特異度）と新たに提案されたATWVおよびTAESを用いて、複数の深層学習モデルの性能を比較する。
• 実世界の有用性を評価するための主要な臨床的ベンチマークとして、24時間当たりの誤報率を用いる。
• 統計的分析を用いて、ATWVおよびTAESがモデルのハイパーパrameterや検出閾値の変更にどの程度感度を示すかを比較する。

実験結果

リサーチクエスチョン

• RQ1 感度や特異度といった従来の評価指標は、EEGイベント検出における臨床的優先順位をどのように反映していないか？
• RQ2 提案された指標であるATWVおよびTAESは、EEGイベント予測の時間的正確さと臨床的関連性をどの程度よく捉えているか？
• RQ3 ATWVおよびTAESは、従来の指標では区別できないモデル間の性能差を検出できるか？
• RQ4 最先端の深層学習モデルは、新しい指標においてどの程度の性能を示すか、特に24時間当たりの誤報率の観点から？
• RQ5 新しい指標は、臨床医が報告する受容基準（特に低誤報率）とどの程度整合しているか？

主な発見

• 感度や特異度といった従来の指標は、時間的ずれの感度が低く、誤報率の影響を反映していないため、EEGイベント検出システムの評価には不十分である。
• 提案されたATWV指標は、イベントの語句の関連性と基準イベントからの時間的近接性に基づいて重み付けを行うことで、よりバランスの取れた評価を可能にする。
• TAESは、予測値が基準アノテーションから時間的にずれている場合でさえも、正しくてもペナルティを科すことで、性能評価を著しく向上させる。
• 高い感度と特異度を示しても、最先端の深層学習モデルは依然として1日100件を超える誤報率を示し、臨床的導入を制限している。
• 新しい指標は、従来の指標では見えなかった性能格差を明らかにし、臨床的基準を満たすためにさらなるモデル改善の必要性を示している。
• 本研究では、ATWVやTAESのような単一のスカラー指標が、臨床的優先順位と整合しながら、アルゴリズム開発を効果的に導くことができることを示している。