[논문 리뷰] Pretraining Respiratory Sound Representations using Metadata and Contrastive Learning

Ilyass Moummad, Nicolas Farrugia|arXiv (Cornell University)|2022. 10. 27.

Phonocardiography and Auscultation Techniques인용 수 7

한 줄 요약

이 논문은 비정상 분류를 위한 표현 학습을 향상시키기 위해 성별 및 연령과 같은 인구통계학적 메타데이터를 호흡 음성 데이터와 함께 활용하는 지도형 대비 학습 프레임워크를 제안한다. 클래스 레이블과 메타데이터를 다중 헤드 대비 학습 설정에서 함께 사용하여 모델을 훈련시킴으로써, ICBHI 및 SPRSound 데이터셋에서 최신 기술 수준의 성능을 달성하였으며, 특히 데이터가 적고 불균형한 환경에서 민감도와 전체 분류 정확도 측면에서 교차 엔트로피 훈련을 능가한다.

ABSTRACT

Methods based on supervised learning using annotations in an end-to-end fashion have been the state-of-the-art for classification problems. However, they may be limited in their generalization capability, especially in the low data regime. In this study, we address this issue using supervised contrastive learning combined with available metadata to solve multiple pretext tasks that learn a good representation of data. We apply our approach on respiratory sound classification. This task is suited for this setting as demographic information such as sex and age are correlated with presence of lung diseases, and learning a system that implicitly encode this information may better detect anomalies. Supervised contrastive learning is a paradigm that learns similar representations to samples sharing the same class labels and dissimilar representations to samples with different class labels. The feature extractor learned using this paradigm extract useful features from the data, and we show that it outperforms cross-entropy in classifying respiratory anomalies in two different datasets. We also show that learning representations using only metadata, without class labels, obtains similar performance as using cross entropy with those labels only. In addition, when combining class labels with metadata using multiple supervised contrastive learning, an extension of supervised contrastive learning solving an additional task of grouping patients within the same sex and age group, more informative features are learned. This work suggests the potential of using multiple metadata sources in supervised contrastive settings, in particular in settings with class imbalance and few data. Our code is released at https://github.com/ilyassmoummad/scl_icbhi2017

연구 동기 및 목표

• 자원이 제한되고 클래스가 불균형한 조건에서 호흡 음성 분류를 위한 지도형 딥 러닝의 일반화 능력이 떨어지는 문제를 해결하기 위해.
• 성별 및 연령과 같은 메타데이터가 대비 학습에서 보조 지도 신호로 사용될 경우 표현 학습에 기여하는지 탐구하기 위해.
• 진단 클래스 레이블과 인구통계학적 메타데이터를 동시에 최적화하는 다중 헤드 지도형 대비 학습 프레임워크를 개발하고 평가하기 위해.
• 대비 학습과 교차 엔트로피 훈련의 성능을 비교하고, 클래스 레이블과 메타데이터를 결합한 것이 모델 일반화에 미치는 영향을 평가하기 위해.
• 표준 평가 프로토콜을 기반으로 두 개의 공개 호흡 음성 데이터셋인 ICBHI 및 SPRSound에서 이 접근 방식의 효과를 입증하기 위해.

제안 방법

• 모델은 동일한 클래스 레이블을 공유하는 양성 쌍을 기반으로 하여 유사한 샘플을 잠재 공간에서 가까이 위치시키는 지도형 대비 학습(SCL) 프레임워크를 사용한다.
• 다중 헤드 SCL 변종(M-SCL)이 도입되며, 하나의 헤드는 진단 클래스 레이블을 처리하고 다른 하나는 메타데이터(성별 및 연령대)를 처리하여 분리된 표현 학습을 가능하게 한다.
• 모델은 AudioSet에서 미세조정을 거쳐 ICBHI 및 SPRSound에서 대비 손실을 사용하여 훈련되며, 양성 쌍의 군집화와 음성 쌍의 분리가 유도된다.
• 메타데이터는 이산 그룹(예: 남성/청년, 여자/노령)으로 인코딩되며, 클래스 레이블과 별개로 양성 쌍을 형성하여 추가적인 지도 신호를 제공한다.
• 하이브리드 훈련 전략을 통해 SCL와 교차 엔트로피 손실을 결합하여 최종 분류 성능을 추가로 향상시킨다.
• 예측 성능 향상을 위해 사전 훈련 중에 데이터 증강 기법을 적용하여 동일한 호흡 음성의 다양한 시각을 생성한다.

실험 결과

연구 질문

• RQ1 표준 교차 엔트로피 훈련과 비교해 볼 때, 메타데이터를 활용한 지도형 대비 학습이 호흡 음성 분류를 위한 표현 학습을 향상시킬 수 있는가?
• RQ2 대비 학습에서 메타데이터를 보조 지도 신호로 사용할 경우, 특히 낮은 데이터 및 불균형 설정에서 일반화 능력 향상에 기여하는가?
• RQ3 클래스 레이블과 메타데이터를 동시에 최적화하는 다중 헤드 대비 학습(M-SCL)이 단일 헤드 SCL나 교차 엔트로피 훈련과 비교해 분류 성능에서 어떻게 다른가?
• RQ4 클래스 레이블 없이 메타데이터만을 사용해 학습한 표현이 클래스 레이블을 사용한 표현과 유사한 성능을 달성할 수 있는가?
• RQ5 클래스 레이블과 메타데이터를 대비 프레임워크 안에서 결합했을 때, 호흡 이상 징후 탐지에서 민감도와 특이도에 어떤 영향을 미치는가?

주요 결과

• ICBHI 데이터셋에서 제안된 M-SCL 방법은 조화 평균 점수 58.04 ± 0.94를 기록하여 최고의 교차 엔트로피 결과(57.55 ± 0.81)를 초월했으며, SimCLR 기준선(48.34 ± 0.87)을 뛰어넘었다.
• SPRSound에서 M-SCL는 조화 평균 점수 85.27 ± 0.88을 기록하여 교차 엔트로피(83.90 ± 0.25)와 SCL(85.29 ± 0.56)를 모두 능가했으며, 민감도가 높아(82.24 ± 2.24 vs. 76.89 ± 0.80)졌다.
• 클래스 레이블 없이 메타데이터만을 사용한 SCL에서 ICBHI에서의 점수는 55.29 ± 0.80이었으며, 교차 엔트로피 훈련과 유사한 성능를 보였고, SimCLR 기준선보다 유의미하게 높았다.
• 클래스 레이블과 메타데이터를 모두 사용한 다중 헤드 SCL 프레임워크(M-SCL)는 단일 헤드 SCL(55.81 ± 0.88)보다 성능이 뛰어나, 메타데이터와 클래스 정보를 별도로 학습하는 것이 특징 품질 향상에 기여함을 시사한다.
• 대비 학습 방법은 항상 교차 엔트로피보다 민감도가 높았으며, 이는 잠재 공간에서 비정상 호흡 음성의 군집화가 더 잘 이루어졌음을 의미한다.
• 이 방법은 클래스 불균형에 대해 강건했으며, 특히 메타데이터와 결합했을 때 희귀 이상 징후를 탐지하는 데서 두드러진 성능 향상을 보였다.