[論文レビュー] Data Augmentation for Pathological Speech Enhancement

Mingchi Hou, Enno Hermann+1 more|arXiv (Cornell University)|Feb 16, 2026

Speech and Audio Processing被引用数 0

ひとこと要約

この論文は、予測型および生成型のSEモデルを用いた形態的音声改善のためのトランスフォーメーション、生成、ノイズデータ拡張戦略を体系的に評価し、ノイズ拡張が最も効果的である一方で結果はモデルに依存することを示す。

ABSTRACT

The performance of state-of-the-art speech enhancement (SE) models considerably degrades for pathological speech due to atypical acoustic characteristics and limited data availability. This paper systematically investigates data augmentation (DA) strategies to improve SE performance for pathological speakers, evaluating both predictive and generative SE models. We examine three DA categories, i.e., transformative, generative, and noise augmentation, assessing their impact with objective SE metrics. Experimental results show that noise augmentation consistently delivers the largest and most robust gains, transformative augmentations provide moderate improvements, while generative augmentation yields limited benefits and can harm performance as the amount of synthetic data increases. Furthermore, we show that the effectiveness of DA varies depending on the SE model, with DA being more beneficial for predictive SE models. While our results demonstrate that DA improves SE performance for pathological speakers, a performance gap between neurotypical and pathological speech persists, highlighting the need for future research on targeted DA strategies for pathological speech.

研究の動機と目的

• データ不足と非標準的な音響特性により、形態的音声治療（SE）の性能を向上させる動機付け。
• 病的話者のSE精度に対する3つのDAカテゴリー（トランスフォーメーション、生成、ノイズ）の影響を評価。
• 異なる拡張戦略の下で予測的および生成的SEモデルを比較。
• 病的音声データセットに対して効果的なDA比率と戦略選択の指針を提供。

提案手法

• 4つのトランスフォーメーション、2つの生成、ノイズ拡張を含む6つのDA戦略を、3つの拡張比率（25%、100%、400%）で評価。
• 予測型複素数回帰（CR）モデルとシュレディンガー・ブリッジ（SB）生成モデルの2つのSEモデルを使用。
• 信号をSTFT領域で表現し、指定の窓関数/ホップ長と正規化を適用。Spanish PC-GITAデータセット上でAdam最適化子を用いて10分割の話者独立クロスバリデーションを実施。
• 生成的拡張のためにYourTTSとXTTSを用いて合成データを生成；CHiME3ノイズとランダムSNRで混合してノイズ付きサンプルを作成。
• 主指標としてPESQとfwSSNRを用いて評価（ΔPESQ、ΔfwSSNR）。
• 病的および神経発達的正常（neurotypical）話者の両方に対する拡張比率と戦略の影響を検討。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーメーション、生成、ノイズの各拡張は病的音声のSE性能を向上させるか。
• RQ2 拡張比率とSEモデルタイプは各DAカテゴリの有効性にどう影響するか。
• RQ3 どのDA戦略が病的音声と神経発達的正常音声の両方に最も一般化するか。
• RQ4 病的音声で特定の拡張が性能を助けたり損なったりする理由としてどのような説明があるか。
• RQ5 拡張ベースの利得は病的音声のSEを神経発達的正常音声にどれだけ近づけることができるか。

主な発見

• ノイズ拡張はモデル間および拡張比率を問わず、最大かつ最も頑健な利得をもたらす。
• トランスフォーメーション拡張は中程度の改善を提供（時間伸長とSpecMix）、一方でピッチシフティングは性能を劣化させる可能性。
• 生成的拡張は限定的な影響、特に高い拡張比率で神経発達的正常訓練済みTTSと病的音声との不一致のため負の影響が出る。
• CRモデルは全体としてDAの恩恵をSBモデルより受けやすく、トランスフォーメーション拡張にはモデル依存効果がある。
• 過度な拡張（例：400%）はSBの性能を損なう可能性がある、条件分布のばらつきが増大するため。
• DA利得があっても、神経発達的正常音声と病的音声の間には性能ギャップが残る。