[論文レビュー] How do you Converse with an Analytical Chatbot? Revisiting Gricean Maxims for Designing Analytical Conversational Behavior

Vidya Setlur, Melanie Tory|arXiv (Cornell University)|Mar 16, 2022

AI in Service Interactions被引用数 5

ひとこと要約

本稿は、データ探索のための自然で協力的な対話を支援する分析的チャットボットの設計に、グリスの規範を再考する。Wizard of Ozおよびユーザースタディを通じて、音声とテキストインターフェースに視覚フィードバック（図表）を組み合わせると、対話の回数が増えやすくなることが明らかになった。一方で、ウィジェットや音声プロンプトによる意図の解釈と応答の最適化は、効果的なデータ駆動型対話において不可欠である。

ABSTRACT

Chatbots have garnered interest as conversational interfaces for a variety of tasks. While general design guidelines exist for chatbot interfaces, little work explores analytical chatbots that support conversing with data. We explore Gricean Maxims to help inform the basic design of effective conversational interaction. We also draw inspiration from natural language interfaces for data exploration to support ambiguity and intent handling. We ran Wizard of Oz studies with 30 participants to evaluate user expectations for text and voice chatbot design variants. Results identified preferences for intent interpretation and revealed variations in user expectations based on the interface affordances. We subsequently conducted an exploratory analysis of three analytical chatbot systems (text + chart, voice + chart, voice-only) that implement these preferred design variants. Empirical evidence from a second 30-participant study informs implications specific to data-driven conversation such as interpreting intent, data orientation, and establishing trust through appropriate system responses.

研究の動機と目的

• ユーザーがデータ探索の過程で分析的チャットボットとどのように対話するか、特に会話行動と期待値の観点から理解すること。
• インターフェースモダリティ（テキスト、音声、音声＋視覚）が、分析的チャットボットシステムにおけるユーザーの行動パターンと好みにどのように影響するかを調査すること。
• 協力的対話の原則に基づいて、ユーザーと分析的チャットボットの間で効果的な対話が実現するための設計原則を特定すること。
• 視覚化とインターフェースのアフォーダンス（例：ウィジェット、フォローアッププロンプト）が、ユーザーの関与度と会話の深さにどのように影響するかを検討すること。
• データ駆動型会話における意図の解釈、曖昧さの解消、反復的改善を支援するチャットボットの設計を支援すること。

提案手法

• 30名の参加者を対象に、テキスト、音声、図表付き音声チャットボットのバリエーションにおけるユーザーの期待を評価するためのWizard of Ozスタディを実施した。
• 3つの分析的チャットボットプロトタイプを設計・展開した：テキスト＋図表（Slack）、音声＋図表（Echo Show）、音声専用（Echo）— これによりインターフェースのアフォーダンスをテストした。
• 協力的対話の設計を分析・指針づける理論的枠組みとして、グリスの規範（数量、質、関連性、形式）を用いた。
• 反復的プロトタイピングとユーザーフィードバックを活用し、フォローアッププロンプト、ドロップダウンメニュー、応答フォーマットなどのインターフェース要素を最適化した。
• ユーザーのトランスクリプトとインタラクションログを分析し、意図の表現、曖昧さの処理、会話修復戦略のパターンを同定した。
• 実世界のデータ探索タスクにおける好まれるデザインバリエーションの実効性を評価するため、30名の参加者を対象に第二のスタディを実施した。

実験結果

リサーチクエスチョン

• RQ1 分析的チャットボットの対話において、テキスト、音声、音声＋視覚モダリティの違いが、ユーザーの会話行動と期待値にどのように影響するか。
• RQ2 曖昧さの処理や意図の精錬において、グリスの規範が分析的チャットボットの効果的な会話行動をどの程度指針づけるか。
• RQ3 ウィジェット、フォローアッププロンプト、視覚化などのインターフェースアフォーダンスが、データ駆動型会話の深さと構造にどのように影響するか。
• RQ4 視覚化を含むシステムの応答が、会話の流れを維持し、分析的推論を支援するために果たす役割は何か。
• RQ5 データ探索の過程で、ユーザーはチャットボットの行動に対して、信頼、丁寧さ、人間らしさの兆候に対してどのように認識し、反応するか。

主な発見

• フォローアッププロンプトを備えた音声ベースのチャットボットがユーザーに好まれ、単一の対話にとどまらず、より自然な複数回の会話が促進された。
• チャットボットの応答に図表（視覚化）を追加すると、フォローアップ質問の発生確率が著しく上昇し、より深い分析的問いが生まれやすくなった。
• インタラクティブなウィジェット（例：ドロップダウンによる精錬）を備えたテキストベースのチャットボットは、複雑なデータ探索タスクにおいて、より構造的で反復的な会話が可能になった。
• 参加者は頻繁に丁寧な言語を用い、音声チャットボットを人間のように扱う傾向にあり、社会的ヒントがユーザーの信頼と関与度に影響していることが示唆された。
• 音声専用の対話は、単一回の対話で事実を求める質問に終始しがちであったが、マルチモーダル（音声＋視覚）システムでは、より豊かで探求的な会話が可能になった。
• 文脈的ヒントと応答の最適化メカニズムを用いることで、意図の解釈がより効果的になり、グリスの関連性（Relation）と形式（Manner）の規範と整合した。