[論文レビュー] Machine Learning for Stuttering Identification: Review, Challenges and Future Directions

Shakeel A. Sheikh, Md Sahidullah+2 more|arXiv (Cornell University)|Jul 8, 2021

Stuttering Research and Treatment被引用数 5

ひとこと要約

本稿は、音声特徴、マルチモーダルデータ、およびアテンションメカニズムや自己教師あり学習を含む高度なモデルを用いた自動ステッターストッピング同定のための機械学習およびディープラーニング手法について包括的なレビューを提示している。データ不足、スピークャー間一般化、マルチモーダル統合といった主な課題を特定するとともに、耐障害性が高くリアルタイム対応可能なステッターストッピング検出システムのための今後の方向性を提案している。

ABSTRACT

Stuttering is a speech disorder during which the flow of speech is interrupted by involuntary pauses and repetition of sounds. Stuttering identification is an interesting interdisciplinary domain research problem which involves pathology, psychology, acoustics, and signal processing that makes it hard and complicated to detect. Recent developments in machine and deep learning have dramatically revolutionized speech domain, however minimal attention has been given to stuttering identification. This work fills the gap by trying to bring researchers together from interdisciplinary fields. In this paper, we review comprehensively acoustic features, statistical and deep learning based stuttering/disfluency classification methods. We also present several challenges and possible future directions.

研究の動機と目的

• 言語障害分野におけるステッターストッピング同定における機械学習応用について包括的なレビューが不足しているという問題に取り組むこと。
• 既存のデータセット、音声特徴、および統計的・ディープラーニング手法がステッターストッピングの不順応分類にどのように用いられているかを分析すること。
• データ不足、スピークャー間のばらつき、マルチモーダル統合といった、自動ステッターストッピング同定システム（ASIS）における重要な課題を特定すること。
• 自己教師あり学習、アテンションメカニズム、マルチステッターストッピング検出を含む今後の研究方向性を提案し、耐障害性とリアルタイム適用性を向上させること。

提案手法

• 機械学習およびディープラーニング技術を用いたステッターストッピング同定に関する100件以上の研究を対象とした体系的レビュー。
• ステッターストッピング検出に用いられる音声特徴（例：プロソディック、スペクトル的、動的）の分類と、それらがさまざまなデータセットで示す性能の評価。
• 音声と視覚的手がかり（例：唇の震え、頭のうなずき）を統合したマルチモーダルアプローチの評価（例：ResNetベースのRNNを用いたもの）。
• アテンションメカニズムを用いてステッターストッピングが埋め込まれたフレームに注目させることで、一時的な不順応の検出を向上させること。
• 視覚フレームをガイドとして用いる自己教師あり学習フレームワークを活用し、音声からステッターストッピング特有の表現を抽出すること。
• 一連の発話内に複数の不順応タイプ（繰返し、延長、停止）が混在する状況におけるマルチステッターストッピング検出の分析。

実験結果

リサーチクエスチョン

• RQ1 ステッターストッピングの不順応と通常の会話とを区別するための最も効果的な音声的およびマルチモーダル特徴は何か？
• RQ2 特にアテンションメカニズムを備えたディープラーニングモデルは、一時的なステッターストッピングイベントの検出をどのように向上させるか？
• RQ3 リアルタイム対応、多言語対応、スピークャー間一般化を実現するステッターストッピング同定システムを開発するにあたり、主な課題は何か？
• RQ4 自己教師あり学習およびマルチモーダル学習フレームワークは、アノテーション付きデータが限られる状況でも、ステッターストッピング検出の表現学習をどのように向上させるか？
• RQ5 既存のデータセットは、耐障害性があり汎用性の高いステッターストッピング同定システムの開発をどの程度支援できるか？

主な発見

• UCLASSデータセットは、ステッターストッピング研究において最も広く使われているベンチマークではあるが、サイズと多様性に限界がある。
• 音声と視覚的手がかり（例：頭のうなずき、唇の震え）を統合したマルチモーダルアプローチは、騒音や環境変動の影響が大きい状況でも検出の耐障害性を高める可能性を示している。
• アテンションメカニズムは、ステッターストッピングが埋め込まれたフレームへのモデルの注目を顕著に向上させ、一時的な不順応の検出精度を向上させた。
• 視覚フレームをガイドとして用いる自己教師あり学習フレームワークは、最小限の教師信号のもとで、ステッターストッピング特有の音声表現を効果的に学習できる。
• 一連の発話内で複数のステッターストッピングタイプ（例：繰返し、延長）を同時に検出する試みは、Ghonemらの研究を除き、まだ1件の研究しか存在しない。これは、大きな研究ギャップを示している。
• ディープラーニングの進展にもかかわらず、データ不足とモデルの一般化の問題に起因し、耐障害性があり、ポータブルで多言語対応のステッターストッピング同定システムは、依然として達成されていない。