[논문 리뷰] A Comprehensive Survey on Heart Sound Analysis in the Deep Learning Era

Zhao Ren, Yi Chang외 4명|arXiv (Cornell University)|2023. 01. 23.

Phonocardiography and Auscultation Techniques인용 수 4

한 줄 요약

이 종합 검토는 2017년에서 2022년까지 심장 음성 분석 분야에서의 딥러닝 응용에 대한 종합적인 개요를 제공하며, 전통적인 기계학습과 딥러닝 접근 방식을 비교한다. 노이즈 제거, 분할, 분류, 해석 가능성 등 주제를 다루며, 최신 기술 모델, 공개된 데이터셋, 코드 리포지터리, 토대 모델과 인간-AI 협업을 포함한 향후 연구 방향을 강조한다.

ABSTRACT

Heart sound auscultation has been applied in clinical usage for early screening of cardiovascular diseases. Due to the high demand for auscultation expertise, automatic auscultation can help with auxiliary diagnosis and reduce the burden of training professional clinicians. Nevertheless, there is a limit to classic machine learning's performance improvement in the era of big data. Deep learning has outperformed classic machine learning in many research fields, as it employs more complex model architectures with a stronger capability of extracting effective representations. Moreover, it has been successfully applied to heart sound analysis in the past years. As most review works about heart sound analysis were carried out before 2017, the present survey is the first to work on a comprehensive overview to summarise papers on heart sound analysis with deep learning published in 2017--2022. This work introduces both classic machine learning and deep learning for comparison, and further offer insights about the advances and future research directions in deep learning for heart sound analysis. Our repository is publicly available at \url{https://github.com/zhaoren91/awesome-heart-sound-analysis}.

연구 동기 및 목표

• 2017–2022년 기간을 중심으로 심장 음성 분석 분야의 딥러닝 기법에 대한 체계적이고 최신의 검토를 제공하기 위해.
• 심장 음성 처리 작업에서 전통적인 기계학습과 딥러닝 간의 성능 및 한계를 비교하기 위해.
• 심장 음성 노이즈 제거, 분할, 분류 및 모델 해석 가능성 분야의 최신 기법을 요약하기 위해.
• 핵심 과제와 향후 연구 방향, 예를 들어 토대 모델, 인간-기계 협업, 모델 신뢰성 등을 규명하기 위해.
• 재현 가능성과 공동체 발전을 위해 공개된 데이터셋, 평가 지표 및 오픈소스 코드를 정리하기 위해.

제안 방법

• 2017년에서 2022년 사이에 출판된 심장 음성 분석 분야의 동료 검토 논문을 대상으로 체계적인 문헌 검토를 수행한다.
• 수작업 특징 공학을 회피하고 원시 오디오 또는 스펙트로그램을 입력으로 사용하는 딥러닝 모델과 전통적인 기계학습 방법(예: SVM, HMM)을 비교한다.
• 심장 음성 작업에 적합한 딥러닝 아키텍처, 예를 들어 CNN, RNN, Transformer 및 자기지도 학습 모델(예: Wav2Vec, HuBERT)을 평가한다.
• 주의 메커니즘 시각화, SHAP, 프로토타입 기반 설명(예: 프로토타입, 비판, 반대요건)과 같은 해석 가능성 기법을 분석하여 모델의 투명성을 향상시킨다.
• 데이터 프라이버시를 위한 피어드레이티드 학습, 머신 언러닝, 적대적 견고성과 같은 새로운 추세를 논의하여 모델의 신뢰성 향상에 기여한다.
• 재현 가능성과 벤치마킹을 지원하기 위해 공개된 데이터셋(예: PhysioNet, LIDC, CRESCENDO)과 코드 리포지터리를 평가한다.

실험 결과

연구 질문

• RQ1 2017년에서 2022년 사이에 딥러닝 모델은 심장 음성 노이즈 제거, 분할, 분류 작업에서 전통적인 기계학습 모델보다 어떻게 뛰어난 성능을 보였는가?
• RQ2 심장 음성 분석에 가장 효과적인 딥러닝 아키텍처와 입력 표현 방식(예: 원시 파형, 스펙트로그램)은 무엇인가?
• RQ3 자동 심장 음성 진단에서 신뢰도 향상과 임상적 도입을 위해 모델의 해석 가능성은 어떻게 향상시킬 수 있는가?
• RQ4 대규모 오디오 데이터로 사전 훈련된 토대 모델이 심장 음성 분석의 발전에 어떤 역할을 할 수 있는가?
• RQ5 실제 임상 환경에서 신뢰성 있고 개인정보 보호가 보장되며 견고한 딥러닝 시스템을 구현하는 데 있어 핵심 과제는 무엇인가?

주요 결과

• 딥러닝 모델은 수작업 특징 공학을 필요로 하지 않고 계층적 표현을 학습할 수 있기 때문에, 특히 대규모 데이터셋에서 전통적인 기계학습보다 심장 음성 분류 작업에서 뚜렷한 성능 향상을 보였다.
• 자기지도 학습 및 사전 훈련된 모델(예: Wav2Vec, HuBERT)은 소량의 데이터나 데이터가 없는 상황에서도 강력한 성능을 보여주며, 대규모 레이블링된 데이터셋에 대한 의존도를 감소시켰다.
• 주의 메커니즘과 SHAP 기반 설명은 모델 예측에 기여하는 심장 음성의 관련 세그먼트를 강조함으로써 국소적 해석 가능성을 제공한다.
• 프로토타입 기반 방법(예: 프로토타입, 비판, 반대요건)은 각 심장 음성 클래스의 일반적인 패턴을 드러내어 전역적 해석 가능성의 잠재적 길을 열어준다.
• 피어드레이티드 학습과 머신 언러닝은 환자 데이터 프라이버시를 유지하면서도 진단 정확도를 유지하기 위한 핵심 기법으로 부상하고 있다.
• 적대적 견고성과 모델 신뢰성은 여전히 열려 있는 과제이며, 임상 의사결정 지원 시스템에서 안전하고 신뢰할 수 있는 AI의 필요성이 증가하고 있다.