[論文レビュー] A Comprehensive Survey on Heart Sound Analysis in the Deep Learning Era

Zhao Ren, Yi Chang+4 more|arXiv (Cornell University)|Jan 23, 2023

Phonocardiography and Auscultation Techniques被引用数 4

ひとこと要約

本サーベイは2017年から2022年までの心音解析におけるディーブラーニングの応用を包括的に概説し、古典的機械学習とディーブラーニングのアプローチを比較しています。ノイズ除去、セグメンテーション、分類、解釈可能性をカバーし、最先端のモデル、公開済みデータセット、コードリポジトリ、および将来の研究分野（ファウンデーションモデル、人間とAIの協働）を強調しています。

ABSTRACT

Heart sound auscultation has been applied in clinical usage for early screening of cardiovascular diseases. Due to the high demand for auscultation expertise, automatic auscultation can help with auxiliary diagnosis and reduce the burden of training professional clinicians. Nevertheless, there is a limit to classic machine learning's performance improvement in the era of big data. Deep learning has outperformed classic machine learning in many research fields, as it employs more complex model architectures with a stronger capability of extracting effective representations. Moreover, it has been successfully applied to heart sound analysis in the past years. As most review works about heart sound analysis were carried out before 2017, the present survey is the first to work on a comprehensive overview to summarise papers on heart sound analysis with deep learning published in 2017--2022. This work introduces both classic machine learning and deep learning for comparison, and further offer insights about the advances and future research directions in deep learning for heart sound analysis. Our repository is publicly available at \url{https://github.com/zhaoren91/awesome-heart-sound-analysis}.

研究の動機と目的

• 2017–2022年の期間に焦点を当て、心音解析におけるディーブラーニング技術の体系的かつ最新のレビューを提供すること。
• 心音処理タスクにおける古典的機械学習とディーブラーニングの性能と限界を比較すること。
• 心音のノイズ除去、セグメンテーション、分類、およびモデルの解釈可能性における最先端の手法を要約すること。
• 主な課題と将来の研究分野（ファウンデーションモデル、人間-機械協働、モデルの信頼性）を特定すること。
• 再現可能性とコミュニティの前進を支援するため、公開済みのデータセット、評価指標、オープンソースコードを収集すること。

提案手法

• 本サーベイは、2017年から2022年までに発表された心音解析に関する査読付き論文を対象とした体系的文献レビューを実施。
• 手作業による特徴工学を回避するため、生の音声波形またはスペクトログラムを入力とする古典的機械学習手法（例：SVM、HMM）とディーブラーニングモデルを比較。
• 畳み込みニューラルネットワーク（CNN）、再帰ニューラルネットワーク（RNN）、トランスフォーマー、および自己教師ありモデル（例：Wav2Vec、HuBERT）といったディーブラーニングアーキテクチャを、心音タスクに応用して評価。
• 注意メカニズムの可視化、SHAP、プロトタイプベースの説明（例：プロトタイプ、批判、反事実）といった解釈可能性技術を分析し、モデルの透明性を向上。
• フェデレーテッドラーニングによるデータプライバシー保護、マシンアンラーニング、敵対的ロバストネスといった最新トレンドを検討し、モデルの信頼性を向上。
• 再現可能性とベンチマークのため、公開済みのデータセット（例：PhysioNet、LIDC、CRESCENDO）とコードリポジトリを評価。

実験結果

リサーチクエスチョン

• RQ1 2017年から2022年の間に、ディーブラーニングモデルは古典的機械学習に比べ、心音のノイズ除去、セグメンテーション、分類タスクでどのように優れた性能を示したか？
• RQ2 心音解析に最も効果的なディーブラーニングアーキテクチャと入力表現（例：生波形、スペクトログラム）は何か？
• RQ3 モデルの解釈性をどのように向上させれば、自動心音診断における信頼性と臨床応用を高められるか？
• RQ4 大規模音声データで事前学習されたファウンデーションモデルは、心音解析の進展にどのような役割を果たすか？
• RQ5 実臨床応用における信頼性があり、プライバシーを守り、ロバストなディーブラーニングシステムを実装するにあたり、主な課題は何か？

主な発見

• ディーブラーニングモデルは、手作業による特徴工学を必要とせず階層的表現を学習できるため、大規模データセット上では古典的機械学習を著しく上回る性能を示している。
• 自己教師ありおよび事前学習モデル（例：Wav2Vec、HuBERT）は、少サンプル学習やゼロショット学習の場面でも優れた性能を示し、大規模なアノテート済みデータセットへの依存を低減している。
• 注目メカニズムとSHAPベースの説明により、モデル予測に寄与する心音の関連セグメントを局所的に特定可能となる。
• プロトタイプベースの手法（例：プロトタイプ、批判、反事実）は、各心音クラスの典型的パターンを明らかにすることで、グローバルな解釈性を実現する有望な道筋を示している。
• フェデレーテッドラーニングとマシンアンラーニングは、診断精度を維持しつつも、患者のデータプライバシーを保護するための重要な技術として登場している。
• 敵対的ロバストネスとモデルの信頼性は未解決の課題であり、臨床意思決定支援システムにおける安全で信頼できるAIの実現に向け、さらなる取り組みが求められている。