[论文解读] Supporting Mobile Multimodal Interaction with a Rule-Based Framework

Andreas Möller, Stefan Diewald+2 more|arXiv (Cornell University)|Jun 12, 2014

Speech and dialogue systems参考文献 30被引用 8

一句话总结

本文提出了M3I框架，这是一种基于规则的系统，通过抽象输入/输出模态并允许开发人员通过简单规则定义模态切换逻辑，从而简化移动应用中的上下文感知多模态交互。该框架降低了原型设计与研究的开发负担，支持显式与隐式输入（如手势、传感器）与动态上下文驱动行为的无缝集成，通过四个多样化的用例得到验证，包括通过GUI实现最终用户的规则配置。

ABSTRACT

Multimodality can make (especially mobile) device interaction more efficient. Sensors and communication capabilities of modern smartphones and tablets lay the technical basis for its implementation. Still, mobile platforms do not make multimodal interaction support trivial. Building multimodal applications requires various APIs with different paradigms, high-level interpretation of contextual data, and a method for fusing individual inputs and outputs. To reduce this effort, we created a framework that simplifies and accelerates the creation of multimodal applications for prototyping and research. It provides an abstraction of information representations in different modalities, unifies access to implicit and explicit information, and wires together the logic behind context-sensitive modality switches. In the paper, we present the structure and features of our framework, and validate it by four implemented demonstrations of different complexity.

研究动机与目标

• 解决开发上下文敏感的多模态移动应用时面临的复杂性与碎片化问题。
• 减少在移动开发中集成多样化API、传感器数据与模态融合逻辑所需的工作量。
• 使开发人员和最终用户都能基于上下文条件定义并自动化多模态交互规则。
• 提供一个模块化、可扩展的框架，支持显式与隐式交互模态。
• 通过真实场景演示与最终用户规则配置，验证框架的可用性与有效性。

提出的方法

• 该框架将输入与输出模态抽象为统一接口，将模态逻辑与应用代码解耦。
• 利用规则引擎基于隐式（传感器数据）和显式（用户操作）输入，定义上下文驱动的模态切换。
• 模块化架构支持可插拔的组件，用于不同模态、传感器以及上下文因素（如位置、时间、活动识别）。
• 系统支持高层抽象，如预定义设备姿态（例如“直立”、“放于桌面”），以简化手势与运动检测逻辑。
• 基于GUI的工具包使最终用户无需编程即可创建和管理影响系统整体多模态行为的规则。
• 该框架作为后台服务运行，持续评估规则，并在条件不再适用时自动恢复到先前设置。

实验结果

研究问题

• RQ1 基于规则的框架在多模态移动交互开发中如何实现简化？
• RQ2 统一的抽象层在多模态与传感器数据集成中，能在多大程度上降低复杂性？
• RQ3 最终用户是否能通过图形界面有效定义并管理多模态交互规则，而无需编程技能？
• RQ4 该框架如何以一致且可扩展的方式支持显式与隐式交互模态？
• RQ5 该框架在真实世界中多样化的多模态交互场景下的可行性与可用性如何？

主要发现

• M3I框架通过极简代码实现了多模态移动应用的快速原型开发，显著降低了集成多种模态与上下文源的工作量。
• 该框架成功支持了多种复杂用例，包括基于手势的输入、上下文感知的输出切换以及系统级模态自动化。
• 最终用户能够通过GUI定义自定义的多模态交互规则，证明了该框架在非专家开发人员中的可用性。
• 系统的规则引擎正确管理了动态上下文转换，包括在规则不再适用时自动恢复到先前设置。
• 该框架的模块化设计支持无缝扩展新模态与上下文因素，且可轻松集成到现有Android应用中。
• 通过四个演示的验证，确认了该框架在不同交互范式与用例中的广泛适用性。