[論文レビュー] Supporting Mobile Multimodal Interaction with a Rule-Based Framework

Andreas Möller, Stefan Diewald+2 more|arXiv (Cornell University)|Jun 12, 2014

Speech and dialogue systems参考文献 30被引用数 8

ひとこと要約

本論文では、入力/出力モダリティを抽象化し、開発者が単純なルールによってモダリティ切り替え論理を定義できるようにすることで、モバイルアプリケーションにおける文脈に配慮したマルチモーダルインタラクションを簡素化するルールベースのシステム、M3Iフレームワークを提示する。これはプロトタイプ作成や研究開発における開発作業を軽減し、明示的および暗黙的入力（例：ジェスチャー、センサー）を動的文脈駆動の動作とシームレスに統合することを可能にする。GUIを介したエンドユーザーのルール設定も含め、4つの多様なユースケースを通じて検証された。

ABSTRACT

Multimodality can make (especially mobile) device interaction more efficient. Sensors and communication capabilities of modern smartphones and tablets lay the technical basis for its implementation. Still, mobile platforms do not make multimodal interaction support trivial. Building multimodal applications requires various APIs with different paradigms, high-level interpretation of contextual data, and a method for fusing individual inputs and outputs. To reduce this effort, we created a framework that simplifies and accelerates the creation of multimodal applications for prototyping and research. It provides an abstraction of information representations in different modalities, unifies access to implicit and explicit information, and wires together the logic behind context-sensitive modality switches. In the paper, we present the structure and features of our framework, and validate it by four implemented demonstrations of different complexity.

研究の動機と目的

• 文脈に配慮したマルチモーダルモバイルアプリケーションの開発における複雑さと断片化を解消すること。
• モバイル開発における多様なAPI、センサデータ、モダリティ統合論理を統合するために必要な作業を軽減すること。
• 開発者およびエンドユーザーが文脈的条件に基づいてマルチモーダルインタラクションルールを定義・自動化できること。
• 明示的および暗黙的の両方のインタラクションモダリティをサポートするモジュラーで拡張可能かつ拡張可能なフレームワークを提供すること。
• 実世界のデモとエンドユーザーによるルール設定を通じて、フレームワークの使いやすさと有効性を検証すること。

提案手法

• フレームワークは、入力および出力モダリティを統一インターフェースに抽象化し、モダリティ論理をアプリケーションコードから分離する。
• ルールエンジンを用いて、暗黙的（センサデータ）および明示的（ユーザー操作）入力を基に文脈駆動のモダリティ切り替えを定義する。
• モジュラーなアーキテクチャにより、異なるモダリティ、センサ、および文脈要因（例：位置、時刻、アクティビティ認識）のプラグイン可能なコンponentを可能にする。
• 「縦向き」や「テーブル上」などの事前定義済みデバイスの姿勢（例：'upright', 'on table'）のような高レベルの抽象化を提供し、ジェスチャーおよび動き検出の論理を簡素化する。
• GUIベースのツールキットにより、プログラミング経験のないエンドユーザーがシステム全体のマルチモーダル動作用のルールを生成・管理できる。
• フレームワークはバックグラウンドサービスとして動作し、ルールを継続的に評価し、条件が満たされなくなった場合には以前の設定に戻す。

実験結果

リサーチクエスチョン

• RQ1 ルールベースのフレームワークは、文脈に配慮したマルチモーダルモバイルインタラクションの開発をどのように簡素化できるか？
• RQ2 統一された抽象化レイヤーは、多様な入出力モダリティおよびセンサデータの統合における複雑さをどの程度軽減できるか？
• RQ3 プログラミング経験のないエンドユーザーがGUIを介してマルチモーダルインタラクションルールを効果的に定義・管理できるか？
• RQ4 フレームワークは、一貫性があり拡張可能な方法で明示的および暗黙的の両方のインタラクションモダリティをどのようにサポートするか？
• RQ5 本フレームワークは、実世界の多様なマルチモーダルインタラクションシナリオにおいて、実用的で使いやすいか？

主な発見

• M3Iフレームワークは、複数のモダリティおよび文脈要因を統合する作業を大幅に軽減し、最小限のコードでマルチモーダルモバイルアプリケーションの迅速プロトタイプ作成を可能にする。
• フレームワークは、ジェスチャー入力、文脈に配慮した出力切り替え、システム全体のモダリティ自動化を含む、多様な複雑なユースケースを効果的にサポートした。
• エンドユーザーはGUIを介してカスタムのマルチモーダルインタラクションルールを定義でき、これはフレームワークの使いやすさがエキスパート開発者を超えて実証されたことを示している。
• システムのルールエンジンは、動的文脈遷移を正しく管理し、ルールが適用されなくなった場合に自動的に以前の設定に戻すのを正しく処理した。
• フレームワークのモジュラー設計により、新しいモダリティおよび文脈要因への容易な拡張が可能であり、既存のAndroidアプリケーションへの統合も容易であった。
• 4つのデモを通じた検証により、本フレームワークが異なるインタラクションパラダイムおよびユースケースに広く適用可能であることが確認された。