[論文レビュー] Alexa, Let's Work Together: Introducing the First Alexa Prize TaskBot Challenge on Conversational Task Assistance

Anna Gottardi, Osman İpek+28 more|arXiv (Cornell University)|Sep 13, 2022

AI in Service Interactions被引用数 10

ひとこと要約

本論文は、音声および視覚インターフェースを用いて現実世界の調理およびDIY作業を支援するマルチモーダル対話型エージェントの開発を目的とした、初めての大規模なコンペティションである Alexa Prize TaskBot Challenge を紹介する。本論文では、迅速な開発を可能にする CoBot Toolkit の紹介、対話管理およびマルチモーダルインタラクション分野における参加チームのイノベーションの報告、および初年度におけるユーザーの関与度と満足度の高い結果を示している。

ABSTRACT

Since its inception in 2016, the Alexa Prize program has enabled hundreds of university students to explore and compete to develop conversational agents through the SocialBot Grand Challenge. The goal of the challenge is to build agents capable of conversing coherently and engagingly with humans on popular topics for 20 minutes, while achieving an average rating of at least 4.0/5.0. However, as conversational agents attempt to assist users with increasingly complex tasks, new conversational AI techniques and evaluation platforms are needed. The Alexa Prize TaskBot challenge, established in 2021, builds on the success of the SocialBot challenge by introducing the requirements of interactively assisting humans with real-world Cooking and Do-It-Yourself tasks, while making use of both voice and visual modalities. This challenge requires the TaskBots to identify and understand the user's need, identify and integrate task and domain knowledge into the interaction, and develop new ways of engaging the user without distracting them from the task at hand, among other challenges. This paper provides an overview of the TaskBot challenge, describes the infrastructure support provided to the teams with the CoBot Toolkit, and summarizes the approaches the participating teams took to overcome the research challenges. Finally, it analyzes the performance of the competing TaskBots during the first year of the competition.

研究の動機と目的

• 会話の雑談を超えて、現実世界のタスクを実行する支援を積極的に行うエージェントの開発により、対話型AIを前進させること。
• マルチモーダル環境下におけるタスク指向型対話型エージェントのためのトレーニングデータと評価フレームワークの不足に対処すること。
• 大学のチームがマルチモーダル TaskBot を構築およびデプロイできるスケーラブルなインfra構築を目的とした CoBot Toolkit を通じて、基盤を整備すること。
• 複雑で多段階的なタスクの実行中に、支援的で魅力的で一貫性のある対話を維持できるかを評価すること。
• ライブデプロイとフィードバック収集を通じて、現実世界のタスク支援シナリオにおけるユーザー行動とインタラクションパターンを理解すること。

提案手法

• TaskBotチャレンジは、音声および視覚インタラクションを可能にするマルチモーダル Alexa デバイスを介して実施された Alexa プラットフォーム上で開始された。
• 前回のツールを拡張し、タスク計画、知識の根拠付け、マルチモーダル対話管理をサポートする新しいバージョンの CoBot Toolkit がリリースされた。
• チームは CoBot Toolkit を使用して、調理および DIY ドメインにおけるユーザーのニーズに対応する TaskBot を開発し、ドメイン知識の統合とタスク進行状況の追跡を実施した。
• ユーザーのインタラクションは、Amazonの従業員を対象としたライブデプロイから始まり、その後一般公開された。フィードバックは、音声による評価とタスク完了のプロンプトを通じて収集された。
• 評価プロセスには、予選、準々決勝、決勝が含まれ、ボットのパフォーマンスを改善するための反復的なフィードバックループが実施された。
• マルチモーダルデザインのベストプラクティスがチームに共有され、ヒント、タッチ操作、APLテンプレートを介した視覚的サポートを含む音声最適化のインタラクションが強調された。

実験結果

リサーチクエスチョン

• RQ1 調理やDIY作業のような複雑で多段階的な現実世界のタスクを効果的に行うために、対話型エージェントはどのように設計すべきか？
• RQ2 音声、視覚、タッチのインタラクションを一貫して統合するマルチモーダルタスクアシスタントを構築する際の主な課題は何か？
• RQ3 ユーザーは、探索的シナリオと目的指向シナリオの両方でタスクアシスタントとどのようにインタラクトするのか？システムは両者にどのように適応すべきか？
• RQ4 マルチモーダルタスク支援において、ユーザーの関与度とタスク完了率を最大化するためのデザインパターンとインタラクション戦略は何か？
• RQ5 動的なタスク状態とユーザーの中断に対応しながら、対話システムはどのように一貫性と文脈を維持できるか？

主な発見

• 検索段階と実行段階における対話の平均ターン数は、それぞれ 5.83 および 5.50 であり、タスクの複雑さを考慮しても中程度の対話長さであることが示された。
• ユーザーはしばしば事前に定義されたタスクではなく、TaskBot の機能を探索する傾向にあり、チームは厳密なタスク実行を超えて、発見と探索を支援する必要があった。
• 視覚的ヒントの使用と情報の段階的公開は、ユーザーのナビゲーションとタスク理解の向上に顕著な効果を示した。
• タスクステップの所要時間の推定値とユーザー評価を統合したチームは、より高いユーザー満足度とタスクの明確さの認識を得ていた。
• チャレンジの決勝ラウンドでは、対話の一貫性とタスク支援のパフォーマンスが強く発揮され、複数のボットが高いユーザー関与度とタスク完了率を達成した。
• CoBot Toolkit は、エンジニアリングの負荷を著しく低減し、チームが対話管理と知識の根拠付けにおけるコアなAIイノベーションに集中できる環境を提供した。