[論文レビュー] Current Challenges in Spoken Dialogue Systems and Why They Are Critical for Those Living with Dementia

Angus Addlesee, Arash Eshghi+1 more|arXiv (Cornell University)|Sep 14, 2019

Speech and dialogue systems参考文献 37被引用数 7

ひとこと要約

本論文は、現在の音声対話システム（SDS）における重大な課題、すなわちターンベース処理、インクリメンタルな音声認識の欠如、マルチモーダルフィードバックの不十分さを特定し、認知症を患う人々の使いやすさを著しく制限していると指摘する。本研究では、インクリメンタルASRの向上、新しい自然な対話コーパスを用いた認知症関連の対話パターンの分析、より自然でマルチモーダルなSDSの開発を通じて、高齢化や認知機能低下に伴う人々の医療支援を改善することを提案する。

ABSTRACT

Dialogue technologies such as Amazon's Alexa have the potential to transform the healthcare industry. However, current systems are not yet naturally interactive: they are often turn-based, have naive end-of-turn detection and completely ignore many types of verbal and visual feedback - such as backchannels, hesitation markers, filled pauses, gaze, brow furrows and disfluencies - that are crucial in guiding and managing the conversational process. This is especially important in the healthcare industry as target users of Spoken Dialogue Systems (SDSs) are likely to be frail, older, distracted or suffer from cognitive decline which impacts their ability to make effective use of current systems. In this paper, we outline some of the challenges that are in urgent need of further research, including Incremental Speech Recognition and a systematic study of the interactional patterns in conversation that are potentially diagnostic of dementia, and how these might inform research on and the design of the next generation of SDSs.

研究の動機と目的

• バックチャンネル、ためらい、遮られることなどの自然な会話の兆候を処理できない、現在のターンベースで非インクリメンタルな音声対話システム（SDS）の限界を是正すること。
• 認知症に伴う認知機能の低下が対話の対話パターンに及ぼす影響を調査すること。これらのパターンは、アクセシブルで支援的なSDSを設計する上で極めて重要である。
• さまざまな認知症を有する人々からの自然な対話音声を収集した、新たな縦断的コーパスを構築し、公開することにより、認知症の検出および自然なSDS設計の研究を支援すること。
• インクリメンタルな自動音声認識（ASR）システムを改善し、正確な不順応（disfluencies）とタイミング情報を保持した、リアルタイムで低遅延かつ安定した仮説生成を可能にすること。
• 顔の表情や視線などのマルチモーダルフィードバックをSDSに統合し、特に虚弱または認知機能に障害を有するユーザーに対して、より滑らかで人間らしい対話を可能にすること。

提案手法

• Switchboardコーパスを用いて、オープンソースでトレーニング可能なASRシステム（Kaldi、Sphinx-4、Wav2Letter++、Julius）のインクリメンタル処理性能を評価し、語のタイミング、不順応の保持、遅延の観点から分析する。
• 語誤り率（WER）を超えた評価を実施し、仮説の安定性、ジャイターリダクション、リアルタイム処理能力といった指標を追加して、インクリメンタルASRの評価を拡張する。
• 多タスク学習（MTL）を用いて、多様な対話ドメインにわたる一般化性能を向上させるためにASRモデルを再トレーニングする。
• 認知症を有する人々から自然な会話を引き出すために、修正された地図タスクを用いて、空間ナビゲーション対話を中心とした新たな縦断的コーパスを収集する。
• Alzheimer Scotlandおよびコーパス作成者と協力し、新コーパスが多様な認知症タイプをカバーしていることを保証するとともに、DementiaBankに倫理的かつ研究目的に特化した形で公開することを確保する。
• 顔の表情や頭部の動きなどのマルチモーダルフィードバックをSDS処理パイプラインに統合し、リアルタイムでユーザーの意図や感情状態を検出することを目的とする。

実験結果

リサーチクエスチョン

• RQ1 インクリメンタル音声認識は、どのようにして音声対話システムにおけるリアルタイムで低遅延かつ安定した仮説生成を支援できるか？
• RQ2 認知症を有する人々と健常者との間で、バックチャンネル、不順応、視線などの対話パターンにどのような差が生じるか。また、これらの差を計算的にどのようにモデリングできるか？
• RQ3 認知症を有する人々からの自然な対話音声は、新しいオープンアクセスコーパスとして効果的に収集・活用できるか。その有効性はどの程度か？
• RQ4 言語的・非言語的フィードバックを含むマルチモーダルフィードバックは、認知機能に障害を有するユーザーのための自然さと使いやすさを向上させるために、どのように体系的にSDSに統合できるか？
• RQ5 インクリメンタルかつマルチモーダルな対話処理は、医療およびアシスト生活の文脈において、SDSの滑らかさと有効性を顕著に向上させることができるか？

主な発見

• 現在の商業的および研究用SDSは主にターンベースであり、インクリメンタルな音声処理を実施できていないため、認知機能に障害を有するユーザーにとっては不自然で、ストレスの多い対話となり、特にその影響が顕著である。
• KaldiとSphinx-4はGoogleのASRよりも不順応をよりよく保持し、正確な語のタイミングを提供しているが、すべてのシステムが、リアルタイムでオープンドメインのインクリメンタル処理を実現するにはさらなる改善が必要である。
• Switchboardコーパスは、不順応と対話行動のアノテーションが付与されているため、ドメイン特化型コーパスよりも、インクリメンタルASRシステムの評価に適したベンチマークである。
• 既存の認知症検出モデルは、主に制御された非自然な会話タスク（例：絵の説明）に依存しており、実世界の対話システムへの応用可能性が制限されている。
• 新規の地図タスクの変種は、認知症を有する人々から自然で認知的に関連のある対話（例：空間ナビゲーション）を引き出すことができ、対話パターンに関するより生態的妥当性の高い研究を可能にする。
• さまざまな認知症を有する人々からの自然な対話の縦断的コーパスを収集中であり、将来的にはDementiaBankに公開される予定で、今後の認知症に配慮した対話システムの研究を支援する。