[論文レビュー] Prosody Modifications for Question-Answering in Voice-Only Settings

Aleksandr Chuklin, Aliaksei Severyn+4 more|arXiv (Cornell University)|Jun 11, 2018

Speech and dialogue systems参考文献 26被引用数 7

ひとこと要約

本稿では、音声のみの質問応答システムにおける回答の理解を向上させるために、ピッチ上昇、発話速度の低下、戦略的ポーズといったプロソディックな変更を提案する。クラウドソーシングを用いた評価により、プロソディックを用いて回答の重要な部分を強調することで、情報量と正答率が顕著に向上することが示された。特に、回答のキーキャッチが文の終わりに近い場合に顕著で、発話速度の低下とピッチ上昇を組み合わせた場合に最も良い結果が得られた。

ABSTRACT

Many popular form factors of digital assistants---such as Amazon Echo, Apple Homepod, or Google Home---enable the user to hold a conversation with these systems based only on the speech modality. The lack of a screen presents unique challenges. To satisfy the information need of a user, the presentation of the answer needs to be optimized for such voice-only interactions. In this paper, we propose a task of evaluating the usefulness of audio transformations (i.e., prosodic modifications) for voice-only question answering. We introduce a crowdsourcing setup where we evaluate the quality of our proposed modifications along multiple dimensions corresponding to the informativeness, naturalness, and ability of the user to identify key parts of the answer. We offer a set of prosodic modifications that highlight potentially important parts of the answer using various acoustic cues. Our experiments show that some of these prosodic modifications lead to better comprehension at the expense of only slightly degraded naturalness of the audio.

研究の動機と目的

• 視覚的キーポイント（太字など）が利用できない音声オンativeのデジタルアシスタント対話において、回答を効果的に提示する課題に対処すること。
• 音声のみの質問応答システムにおけるユーザの理解と回答特定の向上に、プロソディックな変更がどのように寄与するかを調査すること。
• 情報量、自然さ、正答率への影響を評価するためのスケーラブルなクラウドソーシング手法を構築・検証すること。
• 特に回答の位置に応じて、どのプロソディック技術が最も効果的であるかを同定すること。

提案手法

• 人間のレビュアーがさまざまなプロソディック変更を施した音声応答を聴取し、複数の次元で評価するクラウドソーシング実験を設計する。
• IBMおよびGoogle TTSエンジンから生成された合成音声応答に、ポーズ、発話速度の低下、ピッチ上昇、強調を含むプロソディック変更を適用する。
• レビュアーにキーキャッチ部分を抽出させ、情報量、正答率、自然さ、および認識に要する努力度を評価する、制御された環境を設定する。
• 対応t検定などの統計的検定を用いて、変更済み応答とベースライン応答との差の有意性を評価する。
• 回答の長さ、キーキャッチ部分が文の終わりからどの程度離れているか、TTSエンジンの種別に基づいて結果を分解し、文脈依存的な有効性を特定する。
• バーチャートを用いて、情報量と正答率の分布シフトを、ベースラインと変更済み応答とで比較して可視化する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: クラウドソーシングを用いて、音声のみの質問応答におけるプロソディック変更の有効性を定量的に評価できるか？
• RQ2 RQ2: プロソディック変更技術は、情報量と自然さの認識にどのような影響を与えるか？
• RQ3 RQ3: どのような種類の回答が、どのプロソディック変更によって最も恩恵を受けるか？

主な発見

• 特に発話速度の低下とピッチ上昇を組み合わせた『強調』変更が、Google TTSエンジンで情報量（+1.23、p<0.01）と正答率（+0.35、p<0.01）の統計的に有意な向上をもたらした。
• 発話速度の低下は、短い回答文において情報量と正答率に顕著な向上効果を示した（p<0.05）、特にIBM TTSエンジンで顕著だった。
• ポーズの適用は、正答率（p<0.01）と認識に要する努力度の低下に統計的に有意な改善効果を示したが、これは回答キーキャッチが文の終わりに近い場合に顕著だった。
• キーキャッチ部分が文の終わりに近い（「簡単な」回答）場合、Google TTSエンジンに発話速度と強調の変更を適用した場合、正答率と情報量の向上が最も顕著だった。
• プロソディック特徴（例：速度 + ピッチ + ポーズ）の組み合わせは、単一特徴の変更を上回る性能を示し、キーコンtentの強調に相乗効果があることを示唆した。
• 理解度の向上は見られたが、プロソディック変更により自然さの認識がわずかに低下した。特に人工的な中断が原因であったが、タスクパフォーマンスの向上によって相殺された。