[論文レビュー] An Ensemble of Deep Learning Frameworks Applied For Predicting Respiratory Anomalies

Lam Pham, Dat Ngo+3 more|arXiv (Cornell University)|Jan 9, 2022

Voice and Speech Disorders被引用数 5

ひとこと要約

本論文は、ICBHIベンチマークデータセット上で呼吸異常（正常、ウェイズ、クラッカー、両者）を分類するために、インセプションベースのモデル（Inc-03）と事前学習済みVGG14を用いた転移学習を組み合わせた、初期融合、中間融合、後期融合の3段階のアンサンブル戦略を提案する。後期融合アプローチが、両アーキテクチャから得られる補完的特徴を活用することで、57.3%という最高のICBHIスコアを達成し、最先端手法を上回った。

ABSTRACT

In this paper, we evaluate various deep learning frameworks for detecting respiratory anomalies from input audio recordings. To this end, we firstly transform audio respiratory cycles collected from patients into spectrograms where both temporal and spectral features are presented, referred to as the front-end feature extraction. We then feed the spectrograms into back-end deep learning networks for classifying these respiratory cycles into certain categories. Finally, results from high-performed deep learning frameworks are fused to obtain the best score. Our experiments on ICBHI benchmark dataset achieve the highest ICBHI score of 57.3 from a late fusion of inception based and transfer learning based deep learning frameworks, which outperforms the state-of-the-art systems.

研究の動機と目的

• 音声録音から呼吸異常を分類するためのインセプションベースおよび大規模事前学習済みディープラーニングモデルの有効性を評価すること。
• ICBHIの下流タスク（呼吸サイクル分類）において、AudioSetで事前学習されたモデルを用いた転移学習が、初期から訓練する手法と比較して性能を向上させるかどうかを調査すること。
• 軽量アーキテクチャ（例：MobileNet、Inception）が、この特定のタスクにおいて、より大きなモデル（例：ResNet50、DenseNet）を上回る性能を発揮するかどうかを検証すること。
• 多様なディープラーニングフレームワークの予測を統合する融合戦略（初期、中間、後期）が、分類性能を向上させるかどうかを調査すること。
• 高精度なモデルの後期融合を用いて、ICBHI 2017ベンチマークデータセットで新たな最先端性能を確立すること。

提案手法

• 10秒の呼吸音波形を、インセプションベースのモデル向けにウェーブレットスペクトログラム（124×154）に変換し、転移学習フレームワーク向けにログメルスペクトログラムに変換した。
• 3つの異なるディープラーニングパイプラインを訓練した：(1) 小さなフットプリントを持つインセプションベースのネットワーク（Inc-03）、(2) ICBHIで微調整された大規模事前学習済みモデル（VGG16、ResNet50など）、(3) AudioSetで事前学習済みのVGG14を用いて埋め込みを抽出し、最終段階でMLP分類器を適用した転移学習フレームワーク。
• 3つの融合戦略を実装した：初期融合（グローバルプーリング特徴の連結）、中間融合（FC(fc2)特徴の連結）、後期融合（予測確率のPROD融合）。
• PROD融合を適用した：$\bar{p}_{c} = \frac{1}{S}\prod_{s=1}^{S}\bar{p}_{sc}$ ここで $\bar{p}_{sc}$ は $s$ 番目のモデルがクラス $c$ に対して予測した確率であり、$\hat{y} = \arg\max(\bar{p}_1, \dots, \bar{p}_C)$ である。
• ICBHI公式評価プロトコルに従い、重複する患者を含まない60/40の訓練・テスト分割を実施した。
• 標準的なICBHI指標（感度（Sen.）、特異度（Spec.）、ICBHIスコア（感度と特異度の調和平均））を用いてモデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 インセプションベースの軽量ディープラーニングアーキテクチャは、ResNet50 や DenseNet201 といった大規模なベンチマークモデルを上回って、呼吸異常を分類する能力を発揮するのか？
• RQ2 AudioSetで事前学習されたモデルを用いた転移学習は、初期から訓練する手法と比較して、ICBHIデータセット上で顕著に性能を向上させるのか？
• RQ3 インセプションベースと転移学習の異なるモデルの予測を、初期、中間、後期融合によって統合することで、個々のモデルを上回る分類性能が達成可能か？
• RQ4 Inc-03 と事前学習済みVGG14の予測を後期融合することで、ICBHIスコアが最も効果的に向上するのか？
• RQ5 提案されたアンサンブルシステムは、ICBHI 2017ベンチマークデータセットで新たな最先端性能を達成するのか？

主な発見

• Inc-03 と事前学習済みVGG14を後期融合した戦略が、公式のICBHI 60/40分割において57.3%という最高のICBHIスコアを達成し、これまでに発表されたすべてのシステムを上回った。
• 事前学習済みVGG14を用いた転移学習フレームワークは、感度28.1%、特異度82.1%を達成し、ICBHIスコア55.1%を記録した。これは、1つのモデルとしての最高性能であった。
• Inc-03インセプションベースモデルは、感度28.4%、特異度81.7%を達成し、ICBHIスコア55.1%を記録した。これは、極めて少ないパラメータ数で優れた性能を発揮していることを示している。
• 転移学習は、MobileNetV1およびMobileNetV2において、直接訓練する手法を顕著に上回った。これは、低リソースな呼吸音分類タスクにおいて、転移学習が有効であることを示している。
• 後期融合により、最高の個別モデル（55.1% → 57.3%）と比較してICBHIスコアが2.2ポイント向上した。これは、2つのモデルが補完的特徴を抽出していることを確認した。
• アンサンブルシステムは、表VIに記載されたすべての最先端手法（ResNet50：56.2%、CNN-RNN：54.0%）を上回り、ICBHIベンチマークで新たな最先端性能を確立した。