[論文レビュー] HeAR -- Health Acoustic Representations

Sebastien Baur, Zaid Nabulsi+16 more|arXiv (Cornell University)|Mar 4, 2024

Speech Recognition and Synthesis被引用数 9

ひとこと要約

HeAR は 313M の二秒クリップを対象に大規模な自己教師あり音声エンコーダを訓練して埋め込みを生成する。6データセットの33の健康音響タスクに対する線形プローブの結果は、転移性能の最先端を示す。

ABSTRACT

Health acoustic sounds such as coughs and breaths are known to contain useful health signals with significant potential for monitoring health and disease, yet are underexplored in the medical machine learning community. The existing deep learning systems for health acoustics are often narrowly trained and evaluated on a single task, which is limited by data and may hinder generalization to other tasks. To mitigate these gaps, we develop HeAR, a scalable self-supervised learning-based deep learning system using masked autoencoders trained on a large dataset of 313 million two-second long audio clips. Through linear probes, we establish HeAR as a state-of-the-art health audio embedding model on a benchmark of 33 health acoustic tasks across 6 datasets. By introducing this work, we hope to enable and accelerate further health acoustics research.

研究の動機と目的

• 一般的な表現を学習してタスク特化モデルではなく、より広範な健康音響研究を促進・可能にする。
• 大規模な自己教師付き学習を活用して、転送可能な健康オーディオエンコーダを構築する。
• 多様な健康音響タスクとデータセットを横断して、学習済み埋め込みを線形プローブで評価する。
• 録音デバイスへの頑健性と健康音響におけるSSLのデータ効率化の恩恵を評価する。

提案手法

• 75% マスキングで 16x16 スペクトログラムパッチから音声表現を学習するマスクドオートエンコーダー (MAE) の自己教師付き目的を使用する。
• MAEエンコーダを、313.3M の二秒クリップ（174k 時間）からなるYT-NSデータセット上で訓練する。
• データ整備のため、咳、赤ちゃんの咳、呼吸、咳払い、笑い、話すの6つの非音声健康サウンドを識別する健診イベント検出器を組み込む。
• 下流タスクで線形プローブ（リッジ正則化ロジスティック/線形分類器）を訓練して埋め込みを評価し、ファインチューニングを避ける。
• 健康音響タスクの一連のセットで、ベースラインTRILL、FRILL、BigSSL-CAP12、CLAPと比較する。

実験結果

リサーチクエスチョン

• RQ1 大規模な自己教師あり学習は、多様なタスクに対して一般的で転用可能な健康音響表現を生み出せるだろうか？
• RQ2 SSL埋め込み上の線形プローブは、健康音響イベント検出、咳推定、スパイロメトリのタスクを横断して、タスク特化モデルを上回るか？
• RQ3 HeARは異種データセットや録音デバイス全体でどのように性能を示し、どれだけデータ効率が高いか？
• RQ4 HeAR表現を健康関連の音声タスクへ適用する際の制限と潜在的なバイアスは何か？

主な発見

• HeAR は 6 データセットの 33 タスクで最高の平均逆順位 (MRR) を達成（MRR = 0.708）、タスク勝利数も最高の 17 タスク。
• 健康音響イベント検出では、トレーニングデータの影響で CLAP がしばしば最も良い成績を示す一方、HeAR は FSD50K 未訓練モデルの中で最良。
• 咳推定タスクでは、HeAR は 14 タスク中 10 タスクでベースラインを上回り、人口統計情報や COVID/結核関連タスクを含む。
• スパイロメトリタスクでは、主な肺機能指標（例: FEV1, FVC, FEV1/FVC, PEF, FET）でベースラインに匹敵するか上回り、MAE も競争力がある。
• 録音デバイスのばらつきへの頑健性とデータ効率を示し、訓練データの約 6.25% のみで低データベースと同等となる場合がある。
• 本研究は、SSL が健康音響における分布外データや未知のタスクへ一般化する能力を強調している。