[論文レビュー] Stutter Diagnosis and Therapy System Based on Deep Learning

Gresha Bhatia, Binoy Saha+3 more|arXiv (Cornell University)|Jul 13, 2020

Stuttering Research and Treatment参考文献 4被引用数 6

ひとこと要約

本論文では、MFCC特徴量にゲート付き再帰的CNNを適用してステッタータイプと重症度を分類し、SVMベースのエージェントで有効な療法を推薦する、自動的ステッター診断とパーソナライズド療法推薦を目的としたディープラーニングベースのシステムを提示する。本システムは、ステッター記述子と治療効果の間の学習された相関関係を通じて、正確な分類とパーソナライズド療法の提案を実現する。

ABSTRACT

Stuttering, also called stammering, is a communication disorder that breaks the continuity of the speech. This program of work is an attempt to develop automatic recognition procedures to assess stuttered dysfluencies and use these assessments to filter out speech therapies for an individual. Stuttering may be in the form of repetitions, prolongations or abnormal stoppages of sounds and syllables. Our system aims to help stutterers by diagnosing the severity and type of stutter and also by suggesting appropriate therapies for practice by learning the correlation between stutter descriptors and the effectiveness of speech therapies on them. This paper focuses on the implementation of a stutter diagnosis agent using Gated Recurrent CNN on MFCC audio features and therapy recommendation agent using SVM. It also presents the results obtained and various key findings of the system developed.

研究の動機と目的

• 音声信号解析を用いてステッターの重症度とタイプを自動診断するためのシステムを開発すること。
• ステッター記述子（例：繰返し、延長、停止）と療法効果との間の相関関係を特定すること。
• 個々のステッター特性に基づいて治療をパーソナライズする治療法推薦エンジンを設計すること。
• MFCC特徴量を用いたゲート付き再帰的CNNのステッター分類性能を評価すること。
• 診断と治療法推薦を統合した統一された臨床意思決定支援システムに統合すること。

提案手法

• ステッター診断エージェントは、音声サンプルから抽出されたメル周波数ケプストラム係数（MFCC）特徴量に訓練されたゲート付き再帰的畳み込みニューラルネットワーク（GR-CNN）を採用する。
• MFCC特徴量は、音声のスペクトル的特徴を表現し、不順応（dysfluencies）に関連する時間的および周波数的パターンを捉える。
• 本システムは、GR-CNNアーキテクチャを用いてステッターのタイプ（繰返し、延長、ブロック）を分類し、重症度レベルを推定する。
• 別個の治療法推薦エージェントは、サポートベクターマシン（SVM）を用いてステッター記述子から効果的な治療介入をマッピングする。
• システムは、ステッター特徴量と治療効果の間のラベル付きデータから学習し、パーソナライズドな推薦を可能にする。
• パイプラインは、臨床応用を想定して診断と推薦を統合したフレームワークに統合されている。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングモデルは、音声特徴量からステッターのタイプ（繰返し、延長、ブロック）を効果的に分類できるか？
• RQ2 MFCCベースの特徴量とGR-CNNを組み合わせることで、ステッターの重症度およびタイプの診断精度がどの程度向上するか？
• RQ3 特定のステッター記述子に基づいて、SVMベースのモデルが効果的な治療法をどの程度適切に推薦できるか？
• RQ4 特定のステッター特性と特定の言語療法の成功との間に相関関係があるか？
• RQ5 統合型システムは、データ駆動型のパーソナライズドステッター治療法の推薦を提供できるか？

主な発見

• ゲート付き再帰的CNNは、MFCC特徴量を用いて高い精度でステッターのタイプを分類し、不順応検出において優れた性能を示した。
• 本システムは、音声信号内の繰返し、延長、異常な停止を効果的に区別できた。
• SVMを用いた治療法推薦エージェントは、ステッター記述子と適切な治療介入との間のマッピングを効果的に実現した。
• 診断と治療法推薦の統合により、個々のステッター特性に基づいたパーソナライズドな治療提案が可能になった。
• 本システムは、ステッター評価と治療計画におけるリアルタイムの臨床応用の可能性を示した。
• 主な発見は、自動ステッター管理に深層学習と教師あり学習を用いることが実現可能であることを強調している。