[論文レビュー] Towards Open Respiratory Acoustic Foundation Models: Pretraining and Benchmarking

Yuwei Zhang, Xia Tong+7 more|arXiv (Cornell University)|Jun 23, 2024

Acoustic Wave Phenomena Research被引用数 4

ひとこと要約

本論文は、136,000件の呼吸音サンプル（440時間）を含む大規模かつマルチソースのデータセットを用いて、呼吸音の基礎的モデルの事前学習とベンチマークを可能にするオープンソースフレームワークであるOPERAを紹介する。このシステムは、対照的および生成的自己教師学習を用いて3つの基礎的モデルを事前学習し、19の下流タスクでベンチマークを実施した。その結果、一般音声モデルと比較して19のタスクのうち16で優れた性能を示し、呼吸器健康分野におけるドメイン特化型事前学習の価値を強調した。

ABSTRACT

Respiratory audio, such as coughing and breathing sounds, has predictive power for a wide range of healthcare applications, yet is currently under-explored. The main problem for those applications arises from the difficulty in collecting large labeled task-specific data for model development. Generalizable respiratory acoustic foundation models pretrained with unlabeled data would offer appealing advantages and possibly unlock this impasse. However, given the safety-critical nature of healthcare applications, it is pivotal to also ensure openness and replicability for any proposed foundation model solution. To this end, we introduce OPERA, an OPEn Respiratory Acoustic foundation model pretraining and benchmarking system, as the first approach answering this need. We curate large-scale respiratory audio datasets (~136K samples, over 400 hours), pretrain three pioneering foundation models, and build a benchmark consisting of 19 downstream respiratory health tasks for evaluation. Our pretrained models demonstrate superior performance (against existing acoustic models pretrained with general audio on 16 out of 19 tasks) and generalizability (to unseen datasets and new respiratory audio modalities). This highlights the great promise of respiratory acoustic foundation models and encourages more studies using OPERA as an open resource to accelerate research on respiratory audio for health. The system is accessible from https://github.com/evelyn0414/OPERA.

研究の動機と目的

• 保健医療応用分野におけるオープンで大規模な呼吸音データセットおよび基礎的モデルの不足に対処する。
• 呼吸音モデリングにおけるラベル付きデータの限界を克服し、ラベルなしデータを用いた自己教師学習による事前学習を可能にする。
• 多様な健康タスクにわたる呼吸音基礎的モデルの評価のための包括的かつ再現可能なベンチマークを確立する。
• 公開されたデータ、モデル、評価プロトコルを通じて、呼吸器AI研究におけるオープンネスと再現可能性を確保する。
• ドメイン特化型基礎的モデルが一般向け音声モデルに比べて呼吸器健康応用分野で優れた性能を示すことを実証する。

提案手法

• 咳、呼吸、肺音を含む5つの公的ソースから、136,000件のサンプル（440時間）を含む大規模かつマルチソースの呼吸音データセットを収集した。
• 自己教師学習を用いて3つの基礎的モデルを事前学習した：対照的学習に基づくトランスフォーマー（OPERA-CT）、対照的畳み込みニューラルネットワーク（OPERA-CE）、およびマスクされたスペクトログラム再構成を用いた生成的トランスフォーマー（OPERA-GT）。
• 標準的な対照的学習目的関数（InfoNCE損失）と生成的再構成目的関数（スペクトログラムにおけるMSE損失）を用いてモデルを訓練した。
• 12の健康状態推定タスク（例：COPD、アスタマ、インフルエンザ）と7つの肺機能推定タスク（例：FVC、FEV1）の2つのカテゴリに分けた19の下流タスクを定式化した。
• 6つの事前学習に使用されなかったラベル付きデータセットを含む10のラベル付きデータセットを用いて、線形プローブとファインチューニングによる評価を行い、公平で一般化可能なベンチマークを確保した。
• 標準的な指標を用いた：分類タスクにはAUROC、回帰タスクにはMAEおよびMAPEを用い、学習された表現の分析のためにt-SNE可視化を実施した。

実験結果

リサーチクエスチョン

• RQ1 大規模かつ多様な呼吸音データで事前学習された基礎的モデルは、一般音声で事前学習されたモデルよりも一般化性能が優れているか？
• RQ2 対照的学習と生成的学習の自己教師学習目的関数の違いが、呼吸器健康タスクにおける下流性能に与える影響は何か？
• RQ3 OPERAの基礎的モデルは、未観測のデータセットや新しい呼吸音モodalitiesにどの程度一般化できるか？
• RQ4 ファインチューニングは線形プローブに比べて、呼吸音分類および回帰タスクにおける性能をどの程度向上させるか？
• RQ5 オープンかつ再現可能なベンチマークシステムは、呼吸音モデリング分野の研究を加速できるか？

主な発見

• OPERAの基礎的モデルは、一般向け音声モデル（AudioMAE、CLAP）と比較して19の下流タスクのうち16で優れた性能を示し、ドメイン特化型事前学習の利点を実証した。
• 生成的事前学習モデル（OPERA-GT）は、健康状態推定タスクで平均逆順位（MRR）0.762を達成し、対照的モデルおよびベースラインを上回った。
• 肺機能推定タスクでは、OPERA-CEがFEV1/FVC（息切れ）でMAPE 0.161 ± 0.152、呼吸数でMAPE 0.193 ± 0.065を記録し、優れた回帰性能を示した。
• ファインチューニングは性能を顕著に向上させた：COPD検出タスク（T7）において、OPERA-CTは線形プローブ時（0.855）からファインチューニング時（0.957）に向上し、OPERA-GTでは0.986に達した。
• t-SNE可視化により、OPERA-CEが識別性が高く意味的に意味のある表現を学習していることが確認され、異なる呼吸器疾患が明確にクラスタリングされていた。
• スニーズリングに基づく身体姿勢認識タスク（T12）において、OPERA-CTでファインチューニングしたモデルはAUROC 0.994を達成し、すべてのベースラインを上回り、新しいタスクへの強力な一般化能力を示した。