[논문 리뷰] Towards Open Respiratory Acoustic Foundation Models: Pretraining and Benchmarking

Yuwei Zhang, Xia Tong외 7명|arXiv (Cornell University)|2024. 06. 23.

Acoustic Wave Phenomena Research인용 수 4

한 줄 요약

이 논문은 136,000개의 호흡 음성 샘플(440시간)으로 구성된 대규모 다중 소스 데이터셋을 사용하여 호흡 음성 기초 모델의 사전 훈련 및 벤치마킹을 위한 오픈소스 프레임워크인 OPERA를 소개한다. 이 시스템은 대조적이고 생성적인 자기지도 학습을 통해 세 가지 기초 모델을 사전 훈련하고, 19개의 하류 작업에서 성능을 평가하여 일반 음성 모델보다 19개 중 16개의 작업에서 뛰어난 성능을 보이며, 호흡 건강 응용 분야에서 도메인 특화 사전 훈련의 가치를 입증한다.

ABSTRACT

Respiratory audio, such as coughing and breathing sounds, has predictive power for a wide range of healthcare applications, yet is currently under-explored. The main problem for those applications arises from the difficulty in collecting large labeled task-specific data for model development. Generalizable respiratory acoustic foundation models pretrained with unlabeled data would offer appealing advantages and possibly unlock this impasse. However, given the safety-critical nature of healthcare applications, it is pivotal to also ensure openness and replicability for any proposed foundation model solution. To this end, we introduce OPERA, an OPEn Respiratory Acoustic foundation model pretraining and benchmarking system, as the first approach answering this need. We curate large-scale respiratory audio datasets (~136K samples, over 400 hours), pretrain three pioneering foundation models, and build a benchmark consisting of 19 downstream respiratory health tasks for evaluation. Our pretrained models demonstrate superior performance (against existing acoustic models pretrained with general audio on 16 out of 19 tasks) and generalizability (to unseen datasets and new respiratory audio modalities). This highlights the great promise of respiratory acoustic foundation models and encourages more studies using OPERA as an open resource to accelerate research on respiratory audio for health. The system is accessible from https://github.com/evelyn0414/OPERA.

연구 동기 및 목표

• 의료 응용 분야를 위한 오픈소스이자 대규모 호흡 음성 데이터셋과 기초 모델의 부족을 해결한다.
• 레이블이 부족한 호흡 음성 모델링 문제를 해결하기 위해 레이블이 없는 데이터를 활용한 자기지도 사전 훈련을 가능하게 한다.
• 다양한 건강 작업을 통해 호흡 음성 기초 모델의 평가를 위한 종합적이고 재현 가능한 벤치마킹을 수립한다.
• 모델, 데이터, 평가 프로토콜을 공개하여 호흡 AI 연구의 개방성과 재현 가능성을 확보한다.
• 도메인 특화 기초 모델이 일반 목적의 음성 모델보다 호흡 건강 응용 분야에서 우수한 성능을 보임을 입증한다.

제안 방법

• 기침, 숨결, 폐 소리 포함 5개의 공공 소스에서 유래한 대규모 다중 소스 호흡 음성 데이터셋(136,000개 샘플, 440시간)을 정제하였다.
• 자기지도 학습을 통해 세 가지 기초 모델을 사전 훈련: 대조적 학습 기반 트랜스포머(OPERA-CT), 대조적 CNN(OPERA-CE), 그리고 마스킹 스펙트로그램 복원을 갖춘 생성적 트랜스포머(OPERA-GT).
• 표준 대조적 학습 목표(InfoNCE 손실)와 생성적 복원 목표(스펙트로그램에 대한 MSE 손실)를 사용하여 모델을 훈련시켰다.
• 두 가지 범주로 19개의 하류 작업을 설정: 12개는 건강 상태 추론(예: 만성 폐쇄성 폐질환, 천식, 인플루엔자), 7개는 폐 기능 추정(예: FVC, FEV1).
• 10개의 레이블이 부여된 데이터셋(사전 훈련에 사용되지 않은 6개 포함)에서 선형 프로빙 및 파인튜닝을 통해 모델을 평가하여 공정하고 일반화 가능한 벤치마킹을 확보하였다.
• 표준 평가 지표 사용: 분류 작업에 대해 AUROC, 회귀 작업에 대해 MAE 및 MAPE, 그리고 학습된 표현을 분석하기 위해 t-SNE 시각화를 실시하였다.

실험 결과

연구 질문

• RQ1 대규모이고 다양한 호흡 음성 데이터에서 사전 훈련된 기초 모델이 일반 음성 데이터에서 사전 훈련된 모델보다 더 잘 일반화되는가?
• RQ2 다른 자기지도 사전 훈련 목표(대조적 vs. 생성적)가 호흡 건강 작업의 하류 성능에 어떤 영향을 미치는가?
• RQ3 OPERA의 기초 모델이 새로운 데이터셋과 새로운 호흡 음성 모odalities에 얼마나 잘 일반화되는가?
• RQ4 선형 프로빙에 비해 파인튜닝이 호흡 음성 분류 및 회귀 작업에서 성능을 얼마나 향상시키는가?
• RQ5 오픈소스이며 재현 가능한 벤치마킹 시스템은 호흡 음성 모델링 분야의 연구를 가속화할 수 있는가?

주요 결과

• OPERA 기초 모델은 일반 목적의 음성 모델(AudioMAE, CLAP)보다 19개의 하류 작업 중 16개에서 뛰어난 성능을 보이며, 도메인 특화 사전 훈련의 이점을 입증한다.
• 생성적 사전 훈련 모델(OPERA-GT)은 건강 상태 추론 작업에서 평균 상호 순위(MRR) 0.762를 기록하여 대조적 모델 및 기준 모델을 모두 압도한다.
• 폐 기능 추정 작업에서 OPERA-CE는 FEV1/FVC(숨결)에서 MAPE 0.161 ± 0.152, 호흡 속도에서 MAPE 0.193 ± 0.065를 기록하여 강력한 회귀 성능을 보였다.
• 파인튜닝은 성능 향상에 크게 기여했다: COPD 진단(T7)에서 OPERA-CT는 선형 프로빙 시 AUROC 0.855에서 파인튜닝 시 0.957로 상승했고, OPERA-GT는 0.986에 도달했다.
• t-SNE 시각화 결과 OPERA-CE가 분류 가능한, 의미 있는 의미적 표현을 학습했음을 확인했으며, 다양한 호흡 질환 유형 간에 명확한 클러스터링이 관찰되었다.
• 수면 무호흡 기반 신체 자세 인식 작업(T12)에 대해 파인튜닝한 모델은 OPERA-CT가 AUROC 0.994를 기록하여 모든 기준 모델을 능가했으며, 새로운 작업으로의 일반화 능력이 뛰어나다는 것을 보여주었다.