[論文レビュー] Identification of primary and collateral tracks in stuttered speech

Rachid Riad, Anne‐Catherine Bachoud‐Lévi+2 more|arXiv (Cornell University)|Mar 2, 2020

Stuttering Research and Treatment被引用数 7

ひとこと要約

本論文は、クラークのプライマリ・コラテラルトラック理論を基盤とし、臨床的およびNLP的視点を統合することで、スターター・スピーチにおける不順応検出のための新しい評価フレームワークを提案する。強制同期付きの病理的スピーチデータセットを構築し、テキスト的スパン特徴量にインspiredされた音声ベースのスパン特徴量が、フレームレベルの不順応検出性能を顕著に向上させることを示した。その結果、識別F1スコアは0.118に達し、ベースラインの音声的およびプロソディック特徴量を上回った。

ABSTRACT

Disfluent speech has been previously addressed from two main perspectives: the clinical perspective focusing on diagnostic, and the Natural Language Processing (NLP) perspective aiming at modeling these events and detect them for downstream tasks. In addition, previous works often used different metrics depending on whether the input features are text or speech, making it difficult to compare the different contributions. Here, we introduce a new evaluation framework for disfluency detection inspired by the clinical and NLP perspective together with the theory of performance from \cite{clark1996using} which distinguishes between primary and collateral tracks. We introduce a novel forced-aligned disfluency dataset from a corpus of semi-directed interviews, and present baseline results directly comparing the performance of text-based features (word and span information) and speech-based (acoustic-prosodic information). Finally, we introduce new audio features inspired by the word-based span features. We show experimentally that using these features outperformed the baselines for speech-based predictions on the present dataset.

研究の動機と目的

• スターター・スピーチにおける不順応検出のための公開済みで病理的かつアノテーション済みのデータセットの不足に対処すること。
• テキストベースと音声ベースの不順応検出のための評価メトリクスを統合することで、NLPと音声技術コミュニティの間のギャップを埋めること。
• フレームベースの不順応検出における性能向上を図るため、テキスト的スパン特徴量を模倣する音声特徴量を開発・評価すること。
• 走行する病理的スピーチにおける不順応検出システムの評価のための標準化されたオープンベンチマークを提供すること。

提案手法

• クラーク（1996）のプライマリ・コラテラルトラック理論を採用し、不順応検出を二軌道通信プロセスとして定義した。
• 成人のスターターを対象とした半構造的インタビューから、強制同期付きの不順応データセットを構築し、Praatを用いたアノテーションを実施した。
• 語彙ベースのスパン特徴量を基にした新規の音声スパン特徴量を設計し、スピーチにおける不順応イベントのフレームレベルモデリングを可能にした。
• テキストおよび音声ベースの両方の検出・識別タスクを統合したメトリクススイート（正確率、再現率、F1、誤り率）を用いてシステムを評価した。
• 複数の特徴量組み合わせについて、語彙ベース（線形カーネルを用いたSVM）とフレームベース（音声的・プロソディック）モデルを比較した。
• トークン、スパン、音声的、プロソディック特徴量の寄与を分離するためのアブレーションスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 病理的スピーチにおいて、テキストベースと音声ベースのシステムの両方に対して一貫した不順応検出の評価方法はどのように実現できるか？
• RQ2 従来の音声的・プロソディック特徴量と比較して、音声ベースのスパン特徴量は、フレームレベルの不順応検出性能をどの程度向上させるか？
• RQ3 なぜ語彙ベースのモデルがフレームベースのモデルを上回るのか？後者に欠けている特徴量は何か？
• RQ4 テキスト的スパン特徴量を模倣する音声特徴量は、テキストベースと音声ベースの不順応検出の性能ギャップを埋められるか？

主な発見

• トークンおよびスパン特徴量を組み合わせた語彙ベースのSVMモデルが、最高の識別F1（0.721）を達成し、すべてのフレームベースベースラインを顕著に上回った。
• 音声特徴量のみでは、ほぼゼロの性能（F1 ≤ 0.001）に留まり、スターター・スピーチにおける不順応検出には不十分であることが示された。
• 音声スパン特徴量単体では検出再現率が0.063にとどまったが、音声的・プロソディック特徴量と組み合わせることで、最高のフレームベース性能（識別F1：0.118）を達成した。
• 語彙ベースのモデルにおいて、トークンとスパン特徴量の組み合わせは検出でF1 0.772、識別でF1 0.720を達成し、言語的構造の重要性を示した。
• アブレーションスタディの結果、スパンおよびトークン特徴量が音声特徴量よりも情報量が多く、両者の組み合わせはフル特徴量性能にほぼ達していた。
• 本研究では、フレームベースモデルが極端なクラス不均衡の下で失敗しており、検出および識別誤り率が100%を超えることが判明し、より良い長時間シーケンスモデリングの必要性が浮き彫りになった。