[論文レビュー] Pretraining Respiratory Sound Representations using Metadata and Contrastive Learning

Ilyass Moummad, Nicolas Farrugia|arXiv (Cornell University)|Oct 27, 2022

Phonocardiography and Auscultation Techniques被引用数 7

ひとこと要約

本論文は、呼吸音データに加えて性的・年齢的デモグラフィックメタデータ（性別および年齢）を活用する教師あり対照学習フレームワークを提案し、異常分類のための表現学習を向上させる。クラスラベルとメタデータの両方をマルチヘッド対照学習の枠組みで用いてモデルを訓練することで、ICBHIおよびSPRSoundデータセットにおいて最先端の性能を達成し、特にデータが少ないおよび不均衡な状況下で、交差エントロピー学習に比べ感度および総合分類精度が向上した。

ABSTRACT

Methods based on supervised learning using annotations in an end-to-end fashion have been the state-of-the-art for classification problems. However, they may be limited in their generalization capability, especially in the low data regime. In this study, we address this issue using supervised contrastive learning combined with available metadata to solve multiple pretext tasks that learn a good representation of data. We apply our approach on respiratory sound classification. This task is suited for this setting as demographic information such as sex and age are correlated with presence of lung diseases, and learning a system that implicitly encode this information may better detect anomalies. Supervised contrastive learning is a paradigm that learns similar representations to samples sharing the same class labels and dissimilar representations to samples with different class labels. The feature extractor learned using this paradigm extract useful features from the data, and we show that it outperforms cross-entropy in classifying respiratory anomalies in two different datasets. We also show that learning representations using only metadata, without class labels, obtains similar performance as using cross entropy with those labels only. In addition, when combining class labels with metadata using multiple supervised contrastive learning, an extension of supervised contrastive learning solving an additional task of grouping patients within the same sex and age group, more informative features are learned. This work suggests the potential of using multiple metadata sources in supervised contrastive settings, in particular in settings with class imbalance and few data. Our code is released at https://github.com/ilyassmoummad/scl_icbhi2017

研究の動機と目的

• 呼吸音分類のための教師あり深層学習における一般化性能の制限、特にデータ不足およびクラス不均衡の状況下での課題に対処すること。
• 性別や年齢といったメタデータが、対照学習における補助的教師信号として機能することで、表現学習がどのように向上するかを調査すること。
• 診断クラスラベルとデモグラフィックメタデータの両方を同時に最適化するマルチヘッド教師あり対照学習フレームワークを構築し、評価すること。
• 対照学習と交差エントロピー学習の性能を比較し、クラスラベルにメタデータを組み合わせた場合のモデルの一般化性能への影響を評価すること。
• 標準的な評価プロトコルに従い、2つの公開呼吸音データセット（ICBHIおよびSPRSound）において、本手法の有効性を実証すること。

提案手法

• 本手法は、同じクラスラベルを持つサンプル同士をポジティブペアとして形成し、類似したサンプルを潜在空間内で近づけるように学習する教師あり対照学習（SCL）フレームワークを採用する。
• マルチヘッドSCLの変種（M-SCL）を導入し、1つのヘッドが診断クラスラベルを処理し、もう1つのヘッドがメタデータ（性別および年齢層）を処理することで、分離された表現学習を可能にする。
• モデルはAudioSetで事前学習され、ICBHIおよびSPRSoundで微調整され、ポジティブペアのクラスタリングとネガティブペアの分離を促進する対照損失が用いられる。
• メタデータは離散的なグループ（例：男性/若年齢、女性/高齢）として符号化され、クラスラベルとは独立してポジティブペアを形成し、追加の教師信号を提供する。
• 教師あり対照学習と交差エントロピー損失をハイブリッド学習戦略として組み合わせることで、下流分類タスクにおける性能をさらに向上させる。
• 事前学習段階でデータ拡張が適用され、同じ呼吸音の多様なビューを生成することで、モデルの頑健性が向上する。

実験結果

リサーチクエスチョン

• RQ1 教師あり対照学習にメタデータを組み込むことで、標準的な交差エントロピー学習に比べ、呼吸音分類のための表現学習が向上するか？
• RQ2 対照学習においてメタデータを補助的教師信号として用いることで、特にデータが少ないおよび不均衡な状況下で一般化性能が向上するか？
• RQ3 診断クラスラベルとメタデータの両方を同時に最適化するマルチヘッド対照学習（M-SCL）は、シングルヘッドSCLや交差エントロピー学習に比べ、分類性能で優れているか？
• RQ4 クラスラベルなしでメタデータのみを用いて学習した表現は、クラスラベルを用いて学習した表現と同等の性能を達成できるか？
• RQ5 対照学習フレームワーク内でクラスラベルにメタデータを組み合わせた場合、呼吸異常の検出における感度と特異度にどのような影響を与えるか？

主な発見

• ICBHIデータセットでは、提案手法のM-SCLが、58.04 ± 0.94の調和平均スコアを達成し、最良の交差エントロピー結果（57.55 ± 0.81）を上回り、SimCLRベースライン（48.34 ± 0.87）をも凌駕した。
• SPRSoundでは、M-SCLが85.27 ± 0.88の調和平均スコアを達成し、交差エントロピー（83.90 ± 0.25）およびSCL（85.29 ± 0.56）を上回り、感度（82.24 ± 2.24 vs. 76.89 ± 0.80）も高い水準を示した。
• クラスラベルなしでメタデータのみを用いたSCLでは、ICBHIで55.29 ± 0.80のスコアを達成し、交差エントロピー学習と同等の性能を示し、SimCLRベースラインよりも顕著に優れていた。
• クラスラベルとメタデータの両方を用いた場合、マルチヘッドSCLフレームワーク（M-SCL）は、シングルヘッドSCL（55.81 ± 0.88）を上回った。これは、メタデータとクラス情報の分離された学習が特徴量の質を向上させることを示している。
• 対照学習手法は、交差エントロピーに比べ常に感度が向上しており、潜在空間内での異常呼吸音のクラスタリングがより良好に行われていることを示唆している。
• 本手法はクラス不均衡に対して頑健であり、M-SCLは特にメタデータと組み合わせた場合、希少な異常を検出する能力で顕著な向上を示した。