[論文レビュー] Evaluating Personal Assistants on Mobile devices

Julia Kiseleva, Maarten de Rijke|arXiv (Cornell University)|Jun 14, 2017

Mobile Crowdsensing and Crowdsourcing参考文献 47被引用数 10

ひとこと要約

本稿は、スケーラブルなジェスチャーおよび音声ベースのインタラクション信号を用いて、モバイル個人アシスタントにおける文脈認識型ユーザー満足度を評価する研究アジェンダを提案する。デスクトップ中心の評価手法の限界を補うために、タッチ、モーション、音声インタラクションをモデル化し、実世界のモバイル文脈におけるユーザー満足度を予測する。これにより、モバイルHCIにおける行動信号分析のためのディープラーニングの応用が進展する。

ABSTRACT

The iPhone was introduced only a decade ago in 2007 but has fundamentally changed the way we interact with online information. Mobile devices differ radically from classic command-based and point-and-click user interfaces, now allowing for gesture-based interaction using fine-grained touch and swipe signals. Due to the rapid growth in the use of voice-controlled intelligent personal assistants on mobile devices, such as Microsoft's Cortana, Google Now, and Apple's Siri, mobile devices have become personal, allowing us to be online all the time, and assist us in any task, both in work and in our daily lives, making context a crucial factor to consider. Mobile usage is now exceeding desktop usage, and is still growing at a rapid rate, yet our main ways of training and evaluating personal assistants are still based on (and framed in) classical desktop interactions, focusing on explicit queries, clicks, and dwell time spent. However, modern user interaction with mobile devices is radically different due to touch screens with a gesture- and voice-based control and the varying context of use, e.g., in a car, by bike, often invalidating the assumptions underlying today's user satisfaction evaluation. There is an urgent need to understand voice- and gesture-based interaction, taking all interaction signals and context into account in appropriate ways. We propose a research agenda for developing methods to evaluate and improve context-aware user satisfaction with mobile interactions using gesture-based signals at scale.

研究の動機と目的

• タッチ、ジェスチャー、音声を含む現代のモバイルインタラクションパラダイムと、デスクトップベースの評価手法との間のギャップを埋えること。
• クリック数や滞在時間といった従来のメトリクスが、異なるインタラクションパターンと文脈の可変性のため、モバイル環境では不十分であることを認識すること。
• 状況的文脈と感情的キューを考慮した、スケーラブルで行動駆動型のユーザー満足度測定手法を構築すること。
• 静的でクエリ・レスポンス型のモデルを越えて、現実のモバイル利用状況における動的でマルチモーダルなユーザー行動を捉えること。
• モバイルデバイスからの豊富で追跡可能なインタラクション信号を用いた、大規模評価の基盤を確立すること。

提案手法

• タッチイベント、デバイスのモーション（姿勢、加速度）、GPSデータ、ジェスチャーイベント（例：スワイプ、シェイク）の組み合わせを用いて、ユーザー行動をモデル化する。
• 直接のタッチログが利用できない場合でも、ビューポート追跡を用いてタッチベースのインタラクションを間接的に推定する。
• ユーザーの位置、時刻、デバイス状態などの文脈信号を統合し、文脈認識分析のためのインタラクションモデルを豊かにする。
• ディープニューラルネットワークを用いて、ジェスチャーおよび音声インタラクションデータ内の複雑な非線形パターンをモデル化し、ユーザー満足度を予測する。
• 教師ありユーザー実験と教師なしログ分析を組み合わせ、文脈認識型満足度信号の検証とアノテーションを行う。
• セッションレベルの満足度モデルに、文脈認識型および動的環境モデルを組み合わせ、ユーザー状態と環境のリアルタイムな変化を反映する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: スケーラブルで追跡可能な信号を用いて、ジェスチャーおよび音声制御デバイスとのインタラクションをどのようにモデル化できるか？
• RQ2 RQ2: モバイル環境における個人アシスタントに対する文脈認識型ユーザー満足度をどのように定義できるか？
• RQ3 RQ3: モバイルデバイスにおけるジェスチャー信号を用いて、文脈認識型ユーザー満足度をどのように予測できるか？

主な発見

• 従来のクリックベースのメトリクスと比較して、ジェスチャーおよび音声ベースの信号は、ユーザーの感情や状況的文脈に対してより感受性が高く、ユーザー満足度のより豊かな推論を可能にする。
• スワイプパターンやデバイスの姿勢といったタッチおよびモーション信号は、ユーザーのいらだちや満足度と相関する行動的・感情的キューを明らかにする。
• ビューポート追跡により、直接ログが得られない場合でも、タッチインタラクションの間接的だが効果的な推定が可能となり、スケーラブルなデータ収集を支援する。
• 文脈認識型満足度モデリングは、セッションレベルの分析を超えて、ユーザーの位置、デバイス状態、環境の動的変化を組み込む必要がある。
• ディープニューラルネットワークは、複雑なモバイルインタラクションパターンをモデル化する上で強く有望な可能性を示しているが、モバイル行動信号への応用はまだ十分に検討されていない。
• 現在の評価フレームワークは、デスクトップインタラクションモデルに基づいているため、ジェスチャーおよび音声駆動型のモバイルインタラクションの微細な側面を捉えられておらず、新たな手法的アプローチの必要性が生じる。