[論文レビュー] An Ensemble-based Multi-Criteria Decision Making Method for COVID-19 Cough Classification

Nihad Karim Chowdhury, Muhammad Ashad Kabir+1 more|arXiv (Cornell University)|Oct 1, 2021

COVID-19 diagnosis using AI参考文献 52被引用数 7

ひとこと要約

本稿では、エントロピー加重TOPSISとソフト・ハードアンサンブル学習を組み合わせたアンサンブルベースの多基準意思決定（MCDM）フレームワークを提案し、咳音からのCOVID-19分類に最適な機械学習モデルを選定する。4つのデータセット（Cambridge、Coswara、Virufy、NoCoCoDa）の音声特徴を用いて、Extra-TreesとXGBoostが上位のパフォーマンスを示し、症候性CambridgeサブセットではAUC 0.95、精度1.0を達成した。

ABSTRACT

The objectives of this research are analysing the performance of the state-of-the-art machine learning techniques for classifying COVID-19 from cough sound and identifying the model(s) that consistently perform well across different cough datasets. Different performance evaluation metrics (such as precision, sensitivity, specificity, AUC, accuracy, etc.) make it difficult to select the best performance model. To address this issue, in this paper, we propose an ensemble-based multi-criteria decision making (MCDM) method for selecting top performance machine learning technique(s) for COVID-19 cough classification. We use four cough datasets, namely Cambridge, Coswara, Virufy, and NoCoCoDa to verify the proposed method. At first, our proposed method uses the audio features of cough samples and then applies machine learning (ML) techniques to classify them as COVID-19 or non-COVID-19. Then, we consider a multi-criteria decision-making (MCDM) method that combines ensemble technologies (i.e., soft and hard) to select the best model. In MCDM, we use the technique for order preference by similarity to ideal solution (TOPSIS) for ranking purposes, while entropy is applied to calculate evaluation criteria weights. In addition, we apply the feature reduction process through recursive feature elimination with cross-validation under different estimators. The results of our empirical evaluations show that the proposed method outperforms the state-of-the-art models.

研究の動機と目的

• 複数の評価指標（例：AUC、精度、再現率）が相反する状況において、COVID-19咳分類に最適な機械学習モデルを選定する課題に対処すること。
• 個々の評価指標に起因するバイアスを低減し、複数のパフォーマンス基準を統合する耐障害性の高いモデル選択フレームワークの構築。
• Cambridge、Coswara、Virufy、NoCoCoDaを含む多様で現実世界の咳データセットを用いて、モデルのパフォーマンスを評価すること。
• アンサンブル意思決定を用いて、音声ベースの特徴と組み合わせたCOVID-19検出における信頼性が高く一貫性のある分類器を同定すること。
• 特にリソースが限られたスクリーニング状況において、偽陰性を最小限に抑える高再現率モデルを用いて、検出の信頼性を向上させること。

提案手法

• メル周波数ケプストラム係数（MFCC）、クロマグラム、メルスケールスペクトログラム、スペクトルコントラスト、トーナルセンタロイドを用いて、咳音サンプルから音声特徴を抽出した。
• 交差検証を伴う再帰的特徴選択（RFECV）を異なる推定器を用いて適用し、特徴次元の低減とモデルの一般化性能の向上を図った。
• ハイパーパramータを変更した3つの異なるトレーニング戦略を用いて、10種類の異なる機械学習分類器（Extra-Trees、XGBoost、ランダムフォレスト、SVMなど）を訓練した。
• 各モデルとトレーニング戦略について、8つの評価指標（例：AUC、精度、再現率、特異度）を含む意思決定行列を構築した。
• 各評価基準の相対的重要性と情報含量を反映するために、エントロピーに基づく重み付けを計算した。
• エントロピーから導出された重みを用いて、理想解に近い相対的距離に基づき、モデルをTOPSIS法で順位付けした。

実験結果

リサーチクエスチョン

• RQ1 咳音からのCOVID-19分類において、複数の評価指標（例：高いAUCだが低い再現率）が相反する状況で、どの機械学習モデルが一貫して最高のパフォーマンスを発揮するか？
• RQ2 高いAUCだが低い再現率といった相反する性能指標をどのように統合し、信頼性の高い診断モデルを同定できるか？
• RQ3 ソフトおよびハードアンサンブル技術の統合が、多基準意思決定におけるモデル選択のロバスト性と安定性をどの程度向上させるか？
• RQ4 異なるトレーニング戦略およびハイパーパramータ設定が、MCDMフレームワークにおけるモデル順位付けと選択結果に与える影響はどの程度か？
• RQ5 提案されたMCDMフレームワークは、多様で現実世界の咳データセットにおいて、既存の最先端モデルを上回る総合的な診断性能を達成できるか？

主な発見

• 提案されたアンサンブルMCDM手法は、Extra-Trees分類器を用いることで、症候性CambridgeデータセットでAUC 0.95、精度1.0、再現率0.97を達成した。
• Virufyデータセットでは、Extra-Trees分類器がAUC 0.92、精度0.89、再現率0.88を達成した一方、XGBoostはAUC 0.94、精度0.89、再現率0.98を達成した。
• VirufyとNoCoCoDaを統合した場合、Extra-Trees分類器はAUC 0.97、精度1.0、再現率0.92を達成し、優れた一般化性能と低偽陰性率を示した。
• XGBoost分類器は、統合されたVirufy+NoCoCoDaデータセットで最高のAUC 0.98、再現率0.98、精度0.99を達成し、優れた診断信頼性を示した。
• アンサンブルベースのMCDMアプローチは、Melekら（2021）を含む既存の最先端モデルを上回り、特にNoCoCoDa統合データセットにおける精度と再現率の観点で優れた性能を示した。
• 木ベースのアンサンブルモデル（Extra-Trees、XGBoost）は、すべてのデータセットおよび評価基準において、非木ベースのモデルを一貫して上回り、咳音を用いたCOVID-19検出に適していることが示された。