[논문 리뷰] An Ensemble of Deep Learning Frameworks Applied For Predicting Respiratory Anomalies

Lam Pham, Dat Ngo외 3명|arXiv (Cornell University)|2022. 01. 09.

Voice and Speech Disorders인용 수 5

한 줄 요약

이 논문은 ICBHI 벤치마크 데이터셋을 사용하여 호흡 이상(정상, 천명, 갈라지는 소리, 둘 다)을 분류하기 위해 인셉션 기반 모델(Inc-03)과 사전 훈련된 VGG14를 사용한 전이 학습을 조합한 딥러닝 프레임워크의 앙상블을 제안한다. 특히 초기, 중간, 후기 융합 전략을 적용한 결과, 후기 융합 방식이 두 아키텍처에서 유용한 특징을 보완함으로써 가장 높은 ICBHI 점수 57.3%를 기록하여 기존 최고 성능 기준을 초월하였다.

ABSTRACT

In this paper, we evaluate various deep learning frameworks for detecting respiratory anomalies from input audio recordings. To this end, we firstly transform audio respiratory cycles collected from patients into spectrograms where both temporal and spectral features are presented, referred to as the front-end feature extraction. We then feed the spectrograms into back-end deep learning networks for classifying these respiratory cycles into certain categories. Finally, results from high-performed deep learning frameworks are fused to obtain the best score. Our experiments on ICBHI benchmark dataset achieve the highest ICBHI score of 57.3 from a late fusion of inception based and transfer learning based deep learning frameworks, which outperforms the state-of-the-art systems.

연구 동기 및 목표

• 음성 기록에서 호흡 이상을 분류하기 위해 인셉션 기반 및 대규모 사전 훈련된 딥러닝 모델의 효과성을 평가하는 것.
• ICBHI 데이터셋에서 호흡 주기 분류라는 하류 작업에 대해 사전 훈련된 AudioSet 기반 모델을 사용한 전이 학습이 초기 훈련과 비교해 성능 향상에 기여하는지 조사하는 것.
• 작은 크기의 경량 아키텍처(예: MobileNet, Inception)가 이 특정 작업에서 더 큰 모델(예: ResNet50, DenseNet)보다 우수한 성능을 내는지 확인하는 것.
• 다양한 딥러닝 프레임워크의 예측을 융합하는 전략(초기, 중간, 후기)을 탐색하여 분류 성능을 향상시키는 것.
• 고성능 모델의 후기 융합을 통해 ICBHI 2017 벤치마크 데이터셋에서 새로운 최고 성능 기록을 수립하는 것.

제안 방법

• 10초 분량의 호흡 음성 주기를 인셉션 기반 모델을 위한 웨이블릿 기반 스펙트로그램(124×154)과 전이 학습 프레임워크를 위한 로그-멜 스펙트로그램으로 변환하였다.
• 세 가지 별도의 딥러닝 파이프라인을 훈련: (1) 소형 크기의 인셉션 기반 네트워크(Inc-03), (2) ICBHI에서 미세조정된 대규모 사전 훈련 모델(VGG16, ResNet50 등), (3) AudioSet 사전 훈련된 VGG14를 사용해 임베딩을 추출하고 최종 MLP 분류기로 사용.
• 세 가지 융합 전략을 구현: 초기 융합(전역 풀링 특징 연결), 중간 융합(FC(fc2) 특징 연결), 후기 융합(예측 확률의 PROD 융합).
• PROD 융합 적용: $\bar{p}_{c} = \frac{1}{S}\prod_{s=1}^{S}\bar{p}_{sc}$, 여기서 $\bar{p}_{sc}$는 $s$-번째 모델이 클래스 $c$에 대해 예측한 확률이며, $\hat{y} = \arg\max(\bar{p}_1, \dots, \bar{p}_C)$.
• 공식 ICBHI 평가 프로토콜에 따라 환자 간 중복 없이 60/40 훈련-테스트 분할을 적용하였다.
• 표준 ICBHI 지표를 사용해 모델 평가: 민감도(Sen.), 특이도(Spec.), ICBHI 점수(민감도와 특이도의 조화 평균).

실험 결과

연구 질문

• RQ1 인셉션 기반 경량 딥러닝 아키텍처가 ResNet50나 DenseNet201과 같은 더 큰 벤치마크 모델보다 호흡 이상을 분류하는 데 더 뛰어난 성능을 내는가?
• RQ2 AudioSet 사전 훈련된 모델을 사용한 전이 학습이 초기 훈련과 비교해 ICBHI 데이터셋에서 성능 향상에 유의미하게 기여하는가?
• RQ3 다양한 모델(인셉션 기반 및 전이 학습)의 예측을 초기, 중간, 후기 융합하는 것이 개별 모델 성능을 넘어서 분류 성능을 향상시킬 수 있는가?
• RQ4 Inc-03과 사전 훈련된 VGG14의 예측을 후기 융합하는 것이 ICBHI 점수 향상에 가장 효과적인 전략인가?
• RQ5 제안된 앙상블 시스템이 ICBHI 2017 벤치마크 데이터셋에서 새로운 최고 성능을 달성하는가?

주요 결과

• Inc-03와 사전 훈련된 VGG14를 융합한 후기 융합 전략이 공식 ICBHI 60/40 분할에서 가장 높은 ICBHI 점수 57.3%를 기록하여 이전에 발표된 모든 시스템을 능가하였다.
• 사전 훈련된 VGG14를 사용한 전이 학습 프레임워크는 민감도 28.1%와 특이도 82.1%를 기록하여 ICBHI 점수 55.1%를 기록했으며, 이는 최고의 단일 모델 성능였다.
• Inc-03 인셉션 기반 모델은 민감도 28.4%와 특이도 81.7%를 기록하여 ICBHI 점수 55.1%를 달성했으며, 최소한의 파rameter로도 뛰어난 성능를 보였다.
• 전이 학습은 MobileNetV1과 MobileNetV2에 대해 직접 훈련보다 유의미하게 뛰어난 성능을 보였으며, 이는 자원이 제한된 호흡 음성 분류에 효과적임을 시사한다.
• 후기 융합은 최고의 개별 모델(55.1% → 57.3%)보다 ICBHI 점수를 2.2%p 향상시켰으며, 이는 두 모델이 보완적인 특징을 추출한다는 것을 확인하였다.
• 제안된 앙상블 시스템은 표표 VI에 나열된 모든 기존 최고 성능 기준(예: ResNet50(56.2%), CNN-RNN(54.0%))을 뛰어넘었으며, ICBHI 벤치마크에서 새로운 최고 성능을 확립하였다.