[论文解读] Platform for Situated Intelligence

Dan Bohus, Sean Andrist+6 more|arXiv (Cornell University)|Mar 29, 2021

Context-Aware Activity Recognition Systems参考文献 41被引用 25

一句话总结

情境智能平台（PSI）是一个开源框架，通过提供用于时序流数据的运行时、可视化/调试工具，以及一个AI组件生态系统，来实现快速开发和研究多模态、综合AI系统。

ABSTRACT

We introduce Platform for Situated Intelligence, an open-source framework created to support the rapid development and study of multimodal, integrative-AI systems. The framework provides infrastructure for sensing, fusing, and making inferences from temporal streams of data across different modalities, a set of tools that enable visualization and debugging, and an ecosystem of components that encapsulate a variety of perception and processing technologies. These assets jointly provide the means for rapidly constructing and refining multimodal, integrative-AI systems, while retaining the efficiency and performance characteristics required for deployment in open-world settings.

研究动机与目标

• 理念需要一个能够感知并在开放世界环境中行动的集成、多模态AI系统。
• 通过提供统一的基础架构来降低工程成本并加速研究。
• 提供面向时间感知的数据流、实时协同以及可扩展的组件生态系统以实现快速原型开发。

提出的方法

• 引入一个基于 .NET Standard 的运行时，具有并行、协调的多模态流数据计算模型。
• 为 temporal 数据的可视化、标注和分析提供 PsiStudio。
• 提供一个包装多种传感与AI技术的组件生态系统，包括 ONNX 和 Azure Cognitive Services 的包装器。
• 将流定义为强类型、具时间感知的数据通道，包含原始时间和创建时间元数据以实现可重复的融合。
• 描述一个简单的多模态融合示例，以说明组件连线和数据流。
• 讨论调度、传递策略，以及远程/互操作功能，以管理延迟和吞吐量。

实验结果

研究问题

• RQ1 我们如何设计一个开源、跨平台的框架，以支持时序流、多模态数据处理，用于集成AI系统？
• RQ2 需要哪些运行时抽象和工具来可视化、调试并迭代端到端的多模态流水线？
• RQ3 如何将时间、空间和不确定性作为第一类概念来实现跨模态的鲁棒融合与同步？
• RQ4 需要哪些组件和生态系统实践来促进在开放世界AI应用中的复用性和快速原型制作？

主要发现

• PSI 提供了一个具有发布–订阅模型和时间感知流的运行时，将时间视为第一类构造。
• 消息携带原始时间元数据，使跨流的可重复融合在计算延迟变化的情况下也能实现。
• PsiStudio 及相关 API 支持实时和离线的可视化、注释和数据处理，以支持迭代开发。
• 该框架包含日益增长的传感器与AI组件生态系统，通过 ONNX 和 Azure Cognitive Services 封装实现互操作性。
• 传递策略与调度机制有助于在异步、多组件流水线中管理延迟和吞吐量。