[論文レビュー] Pathological speech detection using x-vector embeddings

Catarina Botelho, Francisco Teixeira+3 more|arXiv (Cornell University)|Mar 2, 2020

Voice and Speech Disorders被引用数 8

ひとこと要約

本研究では、パーキンソン病および閉塞性無呼吸症候群の検出において、ヨーロピアン・ポルトガル語およびスペイン語ポルトガル語の音声コーパスを用いて、x-vector埋め込みを病理的発話検出の汎用的特徴抽出手法として評価し、知識ベース特徴およびi-vectorよりも優れた性能を示した。特にドメイン不一致の状況下でも顕著な優位性を示した。

ABSTRACT

The potential of speech as a non-invasive biomarker to assess a speaker's health has been repeatedly supported by the results of multiple works, for both physical and psychological conditions. Traditional systems for speech-based disease classification have focused on carefully designed knowledge-based features. However, these features may not represent the disease's full symptomatology, and may even overlook its more subtle manifestations. This has prompted researchers to move in the direction of general speaker representations that inherently model symptoms, such as Gaussian Supervectors, i-vectors and, x-vectors. In this work, we focus on the latter, to assess their applicability as a general feature extraction method to the detection of Parkinson's disease (PD) and obstructive sleep apnea (OSA). We test our approach against knowledge-based features and i-vectors, and report results for two European Portuguese corpora, for OSA and PD, as well as for an additional Spanish corpus for PD. Both x-vector and i-vector models were trained with an out-of-domain European Portuguese corpus. Our results show that x-vectors are able to perform better than knowledge-based features in same-language corpora. Moreover, while x-vectors performed similarly to i-vectors in matched conditions, they significantly outperform them when domain-mismatch occurs.

研究の動機と目的

• x-vector埋め込みが病理的発話検出の汎用的特徴抽出手法として適用可能かどうかを評価すること。
• パーキンソン病（PD）および閉塞性無呼吸症候群（OSA）の検出において、x-vectorを知識ベース特徴およびi-vectorと比較すること。
• 外部ドメインの学習データを用いた状況下でのモデルの頑健性を評価すること。
• 複数の多言語音声コーパス、特にヨーロピアン・ポルトガル語およびスペイン語ポルトガル語データセットを用いた性能の妥当性を検証すること。

提案手法

• x-vectorモデルは、外部ドメインのヨーロピアン・ポルトガル語音声コーパスを用いて学習し、一般化された話者表現を獲得した。
• 本手法は、深層ニューラルネットワークを活用して、生の音声から固定次元の埋め込みを抽出し、話者および疾患関連の特徴を捉える。
• 比較ベースラインとして、知識ベース特徴（例：プロソディックおよびスペクトル特徴）およびi-vectorが用いられた。
• モデルは、パーキンソン病および閉塞性無呼吸症候群の検出を目的とした2つのヨーロピアン・ポルトガル語コーパスおよび1つのスペイン語コーパスで評価された。
• 同一言語（マッチド）および異なるドメイン（ミスマッチド）の両条件で性能が測定された。
• 抽出された埋め込みを用いて、標準的な機械学習モデルによる分類が実施された。

実験結果

リサーチクエスチョン

• RQ1 x-vector埋め込みは、パーキンソン病および閉塞性無呼吸症候群の病理的発話を効果的に検出できるか？
• RQ2 同じ言語での検出タスクにおいて、x-vectorは知識ベース特徴と比べてどのように差を示すか？
• RQ3 ドメイン不一致の状況下で、x-vectorはi-vectorと比べてどのように性能を発揮するか？
• RQ4 外部ドメインの学習データを用いることで、x-vectorの病理的発話検出における一般化性能に影響は及ぶか？

主な発見

• x-vectorは、パーキンソン病および閉塞性無呼吸症候群の検出において、同じ言語でのタスクで知識ベース特徴を上回った。
• x-vectorは、マッチド言語条件ではi-vectorと同等の性能を達成した。
• x-vectorは、学習データとテストデータのドメインが不一致となった状況で、i-vectorを顕著に上回った。
• x-vectorが学習した一般化された話者表現は、関連のない音声ドメインで学習されたにもかかわらず、疾患関連の発話パターンを効果的に捉えていた。
• 結果から、x-vectorはi-vectorよりも病理的発話検出においてドメインシフトに対してより頑健であることが示された。
• 本手法は言語間での転送性が強く、ポルトガル語で事前学習したモデルを用いてスペイン語のパーキンソン病コーパスに対しても成功裏に適用された。