[논문 리뷰] Robust Nasality Representation Learning for Cleft Palate-Related Velopharyngeal Dysfunction Screening in Real-World Settings

Weixin Liu, Bowen Qu외 9명|arXiv (Cornell University)|2026. 03. 18.

Cleft Lip and Palate Research인용 수 0

한 줄 요약

이 논문은 먼저 감독식 대조 학습(SupCon)을 통해 비강(nasality)에 초점을 맞춘 표현을 학습한 뒤, 고정 인코더와 경량 분류기를 사용해 실세계의 비음성 장애(velopharyngeal dysfunction, VPD) 선별을 견고하게 수행하는 2단계 접근을 제시한다. 강력한 도메인 밖 baselines에 비해 우수한 성능을 보인다.

ABSTRACT

Velopharyngeal dysfunction (VPD) is characterized by inadequate velopharyngeal closure during speech and often causes hypernasality and reduced intelligibility. Although speech-based machine learning models can perform well under standardized clinical recording conditions, their performance often drops in real-world settings because of domain shift caused by differences in devices, channels, noise, and room acoustics. To improve robustness, we propose a two-stage framework for VPD screening. First, a nasality-focused speech representation is learned by supervised contrastive pre-training on an auxiliary corpus with phoneme alignments, using oral-context versus nasal-context supervision. Second, the encoder is frozen and used with lightweight classifiers on 0.5-second speech chunks, whose probabilities are aggregated to produce recording-level decisions with a fixed threshold. On an in-domain clinical cohort of 82 subjects, the proposed method achieved perfect recording-level screening performance (macro-F1 = 1.000, accuracy = 1.000). On a separate out-of-domain set of 131 heterogeneous public Internet recordings, large pretrained speech representations degraded substantially, while MFCC was the strongest baseline (macro-F1 = 0.612, accuracy = 0.641). The proposed method achieved the best out-of-domain performance (macro-F1 = 0.679, accuracy = 0.695), improving on the strongest baseline under the same evaluation protocol. These results suggest that learning a nasality-focused representation before clinical classification can reduce sensitivity to recording artifacts and improve robustness for deployable speech-based VPD screening.

연구 동기 및 목표

• 고소득 계층 밖에서 표준화된 녹음이 희소한 상황에서 확장 가능한 VPD 선별의 동기를 제공한다.
• 소비자 기기에서 음성 기반 VPD 선별을 배치할 때 도메인 시프트를 다룬다.
• 임상의 분류 전에 비강 중심 표현을 학습하는 두 단계 프레임워크를 제시한다.
• 목표 도메인에 대한 적응 없이 고정 임계값에서 도메인 내외에서의 강건성을 평가한다.

제안 방법

• 보조 데이터셋의 음소 정렬 정보를 이용한 감독식 대조 학습(SupCon)으로 비강 표현 사전학습을 수행하고 구강-맥락 대 비강-맥락 감독을 형성한다.
• 대조 학습에서 음성 화자와 모음 샘플을 매칭하여 화자 및 발음 confound를 억제하는 샘플링 전략.
• 층 융합 및 부분 해제(freezing)를 적용한 Wav2Vec2 기반 인코더 구조로 256차원 임베딩으로 투사한다.
• 0.5초 청크에서 나온 256차원 임베딩을 이용해 고정 인코더 VPD 선별을 수행하고, 경량 분류기(LR/SVM/MLP/XGBoost)로 녹음 단위 평균을 하여 고정 임계값 아래에서 동작한다.
• 대상 도메인에 대한 적응 없이 인도어 도메인 임상 데이터 및 오픈 데이터의 공개 인터넷 오디오에 대해 학습 및 평가를 수행한다.
• 동일한 평가 프로토콜 하에서 MFCC 및 대형 프리트레인드 음성 표현과의 비교를 수행한다.

실험 결과

연구 질문

• RQ1 SupCon으로 학습된 비강 중심 표현이 VPD 선별의 도메인 시프트에 대한 견고성을 향상시키는가?
• RQ2 SupCon 비강 표현이 도메인 내외 데이터에서 MFCC 및 대형 프리트레인 모델과 비교했을 때 어떤 성능을 보이는가?
• RQ3 고정 인코더와 경량 분류기로도 목표 임계값 하에서 최첨단의 도메인 외 성능을 달성할 수 있는가?

주요 결과

• 도메인 내에서 SupCon 비강 접근법은 녹음 단위 선별에서 완벽한 정확도(정확도 및 Macro-F1 1.000)를 달성한다.
• 도메인 외에서 SupCon 비강 방법은 Macro-F1 0.679 및 정확도 0.695를 달성하며, 최고의 베이스라인보다 Macro-F1 0.067, 정확도 0.054 앞서 있다.
• MFCC+SVM은 도메인 외에서도 강력한 베이스라인으로 남아 Macro-F1 0.612, 정확도 0.641를 보이며, 대형 프리트레인드 표현은 도메인 시프트에서 성능이 저하된다.
• 베이스라인 전반에 걸쳐 SupCon 비강 임베딩과 LM/ SVM/ MLP/ XGBoost 중 어느 조합이든 견고한 성능을 보이며, 그 중 MLP가 SupCon 변종 중 도메인 외 정확도에서 가장 높다.
• 시각화(UMAP)는 구강 중심 및 비강 강도 구간 간에 음절별 약간의 분리를 나타내며, 비강 표현이 생산과 관련된 구조를 의미있게 포착하고 있음을 시사한다.