[論文レビュー] Evaluating Competing Agent Strategies for a Voice Email Agent

Marilyn Walker, Donald Hindle+3 more|ArXiv.org|Jun 13, 1997

Speech and dialogue systems参考文献 7被引用数 31

ひとこと要約

本研究では、繰り返しタスクを用いた制御実験を通じて、音声メールアシスタントにおけるシステム主導型およびミックスド・イニシアチブ型対話戦略を評価した。結果として、システム主導型戦略は全体的に優れているが、ミックスド・イニシアチブ型戦略はユーザーの経験を積むにつれて向上する傾向にあり、熟練ユーザーにおいては長期的に優位である可能性が示唆された。

ABSTRACT

This paper reports experimental results comparing a mixed-initiative to a system-initiative dialog strategy in the context of a personal voice email agent. To independently test the effects of dialog strategy and user expertise, users interact with either the system-initiative or the mixed-initiative agent to perform three successive tasks which are identical for both agents. We report performance comparisons across agent strategies as well as over tasks. This evaluation utilizes and tests the PARADISE evaluation framework, and discusses the performance function derivable from the experimental data.

研究の動機と目的

• 音声メールアシスタントにおける対話戦略（システム主導型対するミックスド・イニシアチブ型）がユーザーのパフォーマンスおよび満足度に与える影響を評価すること。
• 繰り返しの相互作用を通じてユーザーの熟練度がどのように発展し、システムパフォーマンスに影響を与えるかを評価すること。
• パフォーマンス指標を用いてスプoken対話エージェントを定量的に評価するためのPARADISEフレームワークのテスト。
• 音声ベースの情報システムにおけるユーザー満足度の主な予測要因を特定すること。
• ユーザーが経験を積むにつれて、ミックスド・イニシアチブ型戦略がシステム主導型戦略を上回るかどうかを調査すること。

提案手法

• 12名の被験者が、3回にわたる連続的なタスクを実行する音声メールアシスタント（ELVIS）と対話する制御実験を実施。
• 2種類の対話戦略を実装：システム主導型（段階的プロンプト）とミックスド・イニシアチブ型（ユーザー主導、自然言語入力）。
• ユーザーのターン数、システムのターン数、経過時間、認識スコア、タイムアウトプロンプト、ヘルプ要請などのパフォーマンスデータを収集。
• PARADISE評価フレームワーク内での多変量線形回帰を用いて、予測可能なパフォーマンス関数を導出。
• 累積満足度の推定のため、パフォーマンス指標（平均認識スコアおよびユーザーのターン数）を正規化。
• パフォーマンスモデルにおける係数が変数のスケールに依存しないように、正規化関数を適用。

実験結果

リサーチクエスチョン

• RQ1 ミックスド・イニシアチブ型対話戦略は、音声メールアシスタントにおいてシステム主導型戦略よりも高いユーザー満足度と優れたパフォーマンスをもたらすか？
• RQ2 繰り返しの相互作用を通じて発展するユーザーの熟練度は、異なる対話戦略の相対的パフォーマンスにどのように影響するか？
• RQ3 ユーザー満足度の強力な予測要因となるパフォーランス指標（例：ユーザーのターン数、認識精度）は何か？
• RQ4 PARADISEフレームワークは、実世界のスプoken対話エージェント評価においてユーザー満足度を効果的にモデル化・予測できるか？
• RQ5 ミックスド・イニシアチブ型戦略は繰り返しタスクを経るにつれてパフォーマンス向上の傾向を示すか？これは熟練ユーザーにとっての長期的優位性を示唆するか？

主な発見

• ミックスド・イニシアチブ型戦略は、連続するタスクを通じてパフォーマンスが向上し、タスク1の-0.27からタスク3の0.125まで上昇した。
• システム主導型戦略は、全タスクを通じて平均0.214の高い全体的パフォーマンススコアを示したのに対し、ミックスド・イニシアチブ型戦略は平均-0.213であった。
• ユーザーのターン数と平均認識スコアが、累積満足度の唯一の有意な予測要因であり、分散の42％を説明した。
• 導出されたパフォーマンス関数は、Performance = 0.63 * N(MeanRecognition) - 0.32 * N(UserTurns) であり、正規化が適用された。
• 個々のユーザーの認識には顕著な差が認められ、認識精度、システムの反応性、使いやすさの感じ方が被験者間で顕著に異なった。
• 予想に反し、時間の経過とともにバージン（割り込み）の使用は増加せず、システムの中断に関する明確な学習効果は認められなかった。