[論文レビュー] Robust Nasality Representation Learning for Cleft Palate-Related Velopharyngeal Dysfunction Screening in Real-World Settings

Weixin Liu, Bowen Qu+9 more|arXiv (Cornell University)|Mar 18, 2026

Cleft Lip and Palate Research被引用数 0

ひとこと要約

要約（tldr）: 本論文は、まず supervised contrastive learning による nasality に焦点を当てた表現を学習し、次に凍結されたエンコーダと軽量分類器を用いて実世界の uncontrolled 音声で velopharyngeal dysfunction を堅牢にスクリーニングする二段階アプローチを提示する。ドメイン外での性能は強力なベースラインと比較して優れていることを示す。

ABSTRACT

Velopharyngeal dysfunction (VPD) is characterized by inadequate velopharyngeal closure during speech and often causes hypernasality and reduced intelligibility. Although speech-based machine learning models can perform well under standardized clinical recording conditions, their performance often drops in real-world settings because of domain shift caused by differences in devices, channels, noise, and room acoustics. To improve robustness, we propose a two-stage framework for VPD screening. First, a nasality-focused speech representation is learned by supervised contrastive pre-training on an auxiliary corpus with phoneme alignments, using oral-context versus nasal-context supervision. Second, the encoder is frozen and used with lightweight classifiers on 0.5-second speech chunks, whose probabilities are aggregated to produce recording-level decisions with a fixed threshold. On an in-domain clinical cohort of 82 subjects, the proposed method achieved perfect recording-level screening performance (macro-F1 = 1.000, accuracy = 1.000). On a separate out-of-domain set of 131 heterogeneous public Internet recordings, large pretrained speech representations degraded substantially, while MFCC was the strongest baseline (macro-F1 = 0.612, accuracy = 0.641). The proposed method achieved the best out-of-domain performance (macro-F1 = 0.679, accuracy = 0.695), improving on the strongest baseline under the same evaluation protocol. These results suggest that learning a nasality-focused representation before clinical classification can reduce sensitivity to recording artifacts and improve robustness for deployable speech-based VPD screening.

研究の動機と目的

• 標準化された録音が乏しい高所得国以外でのスケーラブルな VPD スクリーニングを動機づける。
• 消費者デバイス上での音声ベース VPD スクリーニングを適用する際のドメインシフトに対処する。
• 臨床分類の前に nasality に焦点を当てた表現を学習する二段階フレームワークを提案する。
• ターゲットドメイン適応なしに、固定閾値の下でインドメインおよびアウトオブドメインの堅牢性を評価する。

提案手法

• 補助データセットの音素整列を用いた supervised contrastive learning (SupCon) による nasality 表現の事前学習。口腔コンテキスト vs. 鼻腔コンテキストの監視を形成。
• 同じ話者・同じ母音サンプルを対比学習に用いて話者・音声学的混乱を抑制するサンプリング戦略。
• Wav2Vec2 に基づくエンコーダアーキテクチャの層融合と部分的なフリーン（凍結解除）で、256次元埋め込みへ射影。
• 0.5 s 区間の 256-d 埋め込みを用い、軽量分類器（LR/SVM/MLP/XGBoost）へ入力、録音レベルの平均集約を固定閾値下で適用する凍結エンコーダ VPD スクリーニング。
• ターゲット領域への適応なしに、インド域の臨床データとアウトオブドメインの公開 Internet 音声データでの訓練と評価。
• 同じ評価プロトコル下で MFCC および大規模事前学習音声表現を用いるベースラインと比較。

実験結果

リサーチクエスチョン

• RQ1 SupCon によって学習された nasality 焦点表現は VPD スクリーニングのドメインシフトに対するロバスト性を向上させるか？
• RQ2 in-domain および out-of-domain データで、SupCon nasality 表現は MFCC および大規模事前学習モデルと比較してどうか？
• RQ3 凍結エンコーダと軽量分類器は固定閾値の下で最先端のアウトオブドメイン性能を実現できるか？

主な発見

特徴/方法	分類器	Accuracy	Macro Precision	Macro Recall	Macro F1
Whisper	MLP	1.000	1.000	1.000	1.000
Whisper	XGBoost	1.000	1.000	1.000	1.000
Whisper	SVM	1.000	1.000	1.000	1.000
Whisper	Logistic Regression	1.000	1.000	1.000	1.000
HuBERT	MLP	1.000	1.000	1.000	1.000
HuBERT	XGBoost	1.000	1.000	1.000	1.000
HuBERT	SVM	0.992	0.929	0.996	0.960
Data2Vec	XGBoost	0.992	0.929	0.996	0.960
MFCC	SVM	0.992	0.996	0.917	0.953
MFCC	MLP	0.992	0.996	0.917	0.953
MFCC	Logistic Regression	0.992	0.996	0.917	0.953
Data2Vec	Logistic Regression	0.985	0.875	0.992	0.925
HuBERT	Logistic Regression	0.985	0.875	0.992	0.925
MFCC	XGBoost	0.985	0.913	0.913	0.913
Data2Vec	SVM	0.969	0.800	0.984	0.867
Data2Vec	MLP	0.954	0.750	0.976	0.821
Wav2Vec2	XGBoost	0.946	0.731	0.972	0.801
Wav2Vec2	SVM	0.946	0.731	0.972	0.801
Wav2Vec2	MLP	0.930	0.700	0.963	0.767
Wav2Vec2	Logistic Regression	0.907	0.667	0.951	0.724
SupCon Nasality (256-d)	Logistic Regression	1.000	1.000	1.000	1.000
SupCon Nasality (256-d)	SVM	1.000	1.000	1.000	1.000
SupCon Nasality (256-d)	MLP	1.000	1.000	1.000	1.000
SupCon Nasality (256-d)	XGBoost	1.000	1.000	1.000	1.000
SupCon Nasality (256-d)	MLP	0.695	0.712	0.683	0.679
SupCon Nasality (256-d)	SVM	0.672	0.680	0.661	0.658
SupCon Nasality (256-d)	Logistic Regression	0.664	0.662	0.662	0.662
SupCon Nasality (256-d)	XGBoost	0.655	0.659	0.661	0.658

• インドメインでは、SupCon nasality アプローチは録音レベルのスクリーニングを完璧に達成（accuracy および macro-F1 = 1.000）。
• アウトオブドメインでは、SupCon nasality 法は macro-F1 = 0.679、accuracy = 0.695 を達成し、最高ベースラインより macro-F1 で 0.067、accuracy で 0.054 上回る。
• MFCC+SVM はアウトオブドメインで依然として強力なベースライン（macro-F1 0.612、accuracy 0.641）となり、巨大な事前学習表現はドメインシフト下で劣化する。
• ベースラインを超えて、SupCon nasality 埋め込みは LR、SVM、MLP、XGBoost のいずれでも堅牢な性能を示し、SupCon 系列の中で MLP がアウトオブドメインの精度を最も高く達成。
• 可視化（UMAP）では、母音を跨ぐ口腔コア領域と鼻腔強性セグメントの部分的な分離を示し、nasality が生産関連の意味ある構造を捉えることを示唆。