[論文レビュー] Platform for Situated Intelligence

Dan Bohus, Sean Andrist+6 more|arXiv (Cornell University)|Mar 29, 2021

Context-Aware Activity Recognition Systems参考文献 41被引用数 25

ひとこと要約

Platform for Situated Intelligence（PSI）は、時間に沿ってデータをストリーミングするランタイム、可視化/デバッグツール、AIコンポーネントのエコシステムを提供することにより、マルチモーダルで統合的なAIシステムの迅速な開発と研究を可能にするオープンソースのフレームワークです。

ABSTRACT

We introduce Platform for Situated Intelligence, an open-source framework created to support the rapid development and study of multimodal, integrative-AI systems. The framework provides infrastructure for sensing, fusing, and making inferences from temporal streams of data across different modalities, a set of tools that enable visualization and debugging, and an ecosystem of components that encapsulate a variety of perception and processing technologies. These assets jointly provide the means for rapidly constructing and refining multimodal, integrative-AI systems, while retaining the efficiency and performance characteristics required for deployment in open-world settings.

研究の動機と目的

• 開放世界環境で知覚し行動できる統合的なマルチモーダルAIシステムの必要性を動機づける。
• 統一された基盤を提供することにより、工学コストを削減し研究の加速を図る。
• 時間認識データストリーム、リアルタイムの協調、迅速なプロトタイピングのための拡張可能なコンポーネントエコシステムを提供する。

提案手法

• .NET Standardベースのランタイムと、マルチモーダルストリーミングデータの並列・協調計算モデル。
• Temporalデータの可視化、注釈付け、分析のためのPsiStudioを提供。
• ONNXやAzure Cognitive Servicesのラッパーを含む、さまざまなセンサー技術とAI技術を包むコンポーネントのエコシステムを提供。
• ストリームを、起点時刻と生成時刻のメタデータを持つ強型・時間認識データ伝導体として定義し、再現可能なフュージョンを可能にする。
• コンポーネントの配線とデータフローを示すための、マルチモーダルフュージョンの簡単な実例を説明。
• 遅延とスループットを管理するためのスケジューリング、デリバリーポリシー、およびリモーティング/インターオペラビリティ機能について論じる。

実験結果

リサーチクエスチョン

• RQ1 統合AIシステムのための、時系列ストリーミングをサポートするマルチモーダルデータ処理を実現する、オープンソースでクロスプラットフォームなフレームワークをどのように設計できるか。
• RQ2 エンドツーエンドのマルチモーダルパイプラインを可視化・デバッグ・反復するために、どのようなランタイム抽象とツールが必要か。
• RQ3 時間・空間・不確実性を第一級の概念として扱い、モダリティ間の頑健なフュージョンと同期を実現するにはどうすべきか。
• RQ4 オープンワールドAIアプリケーションにおける再利用と迅速なプロトタイピングを促進するために、どのようなコンポーネントとエコシステムの実践が必要か。

主な発見

• PSIは、公開–購読モデルと時間認識ストリームを備え、時間を第一級の概念として扱うランタイムを提供します。
• メッセージはoriginating-timeメタデータを携帯し、計算遅延が異なってもストリーム間の再現可能なフュージョンを可能にします。
• PsiStudioと関連APIは、反復的開発のためのライブおよびオフラインの可視化、注釈付け、データ処理をサポートします。
• このフレームワークには、ONNXおよび Azure Cognitive Services のラッパーを通じた相互運用性を備えた、成長中のセンサーとAIコンポーネントのエコシステムが含まれています。
• デリバリーポリシーとスケジューリング機構は、非同期の複数コンポーネントパイプラインにおける遅延とスループットを管理するのに役立ちます。