[論文レビュー] MIS: Multimodal Interaction Services in a cloud perspective

Patrizia Grifoni, Fernando Ferri+3 more|arXiv (Cornell University)|Apr 4, 2017

Speech and dialogue systems参考文献 20被引用数 6

ひとこと要約

本稿では、I/O処理および推論をクラウドにオフロードすることで、人間と機械の対話における自然さとスケーラビリティを向上させる、クラウドベースのサービス指向アーキテクチャ（SOA）を提案する。クラウドのスケーラビリティとSOAの原則を活用することで、多様なユーザー状況やデバイスにおいて、適応的かつ文脈に応じたマルチモーダル対話が可能になる。

ABSTRACT

The Web is becoming more and more a wide software framework on which each one can compose and use contents, software applications and services. It can offer adequate computational resources to manage the complexity implied by the use of the five senses when involved in human machine interaction. The core of the paper describes how SOA (Service Oriented Architecture) can support multimodal interaction by pushing the I/O processing and reasoning to the cloud, improving naturalness. The benefits of cloud computing for multimodal interaction have been identified by emphasizing the flexibility and scalability of a SOA, and its characteristics to provide a more holistic view of interaction according to the variety of situations and users.

研究の動機と目的

• マルチモーダル人間-機械対話の複雑さの増大に応じて、クラウドコンピューティングリソースを活用することを目的とする。
• I/O処理および推論タスクをクラウドにオフロードすることで、対話の自然さと適応性を向上させることを目的とする。
• サービス指向の拡張性を通じて、包括的でユーザーおよび文脈に敏感な対話モデルを実現することを目的とする。
• SOAとクラウドインfraストラクチャが、リアルタイムで多様なマルチモーダル入出力モダリティをサポートできることを示すこと。
• 異種のデバイスや環境にわたり、マルチモーダルサービスを展開するための柔軟でスケーラブルなフレームワークを提供すること。

提案手法

• マルチモーダル対話コンponentsをローカルデバイスから分離する、クラウドネイティブなサービス指向アーキテクチャ（SOA）を設計する。
• スケーラビリティの向上を図るため、集中型クラウドサービスにマルチモーダルI/O処理および推論（例：音声、ジェスチャー、ビジョン）をオフロードする。
• SOAの原則を活用して対話サービスをモジュール化し、アプリケーション間での動的組み合わせと再利用を可能にする。
• クラウド内での標準化されたウェブサービスインターフェースを通じて、多様なモダリティ（例：音声、タッチ、ジェスチャー）を統合する。
• 対話負荷や複雑さに応じて、計算リソースを動的にスケーリングできるクラウドのエラスティシティを活用する。
• クラウドストレージおよびAPIを介してユーザープロファイル、環境データ、対話履歴にアクセスできる仕組みを提供することで、文脈に応じた適応を実現する。

実験結果

リサーチクエスチョン

• RQ1 クラウドベースのSOAは、マルチモーダル対話システムのスケーラビリティと柔軟性をどのように向上させるか？
• RQ2 I/O処理および推論をクラウドにオフロードすることで、人間-機械対話の自然さはどのように向上するか？
• RQ3 サービス指向モデルは、統一されたフレームワーク内で多様なユーザー状況と対話モダリティをどのようにサポートするか？
• RQ4 分散型クラウド環境において、リアルタイムで適応可能なマルチモーダル対話の実現を可能にするアーキテクチャパターンは何か？
• RQ5 提案されたフレームワークは、入力モダリティおよびユーザー端末の非均質性をどのように処理するか？

主な発見

• クラウドベースのSOAモデルにより、マルチモーダル処理の動的かつオンデマンドなスケーリングが可能となり、負荷の変動に応じたシステムの応答性が向上した。
• 複雑な推論およびマルチモーダル統合をクラウドにオフロードすることで、人間-機械対話の自然さと正確性が向上した。
• サービス指向アプローチにより、標準化された相互運用可能なインターフェースを通じて、多様なモダリティ（例：音声、ジェスチャー、タッチ）のシームレスな統合が可能になった。
• アーキテクチャは、サービス間でユーザーの文脈、デバイスの能力、環境データを統合することで、包括的な対話の視点を提供した。
• モノリシックなローカル対話システムと比較して、保守性および拡張性の向上が実証された。
• 既存のウェブサービス標準およびクラウドインfraストラクチャとの統合を通じて、実世界のシナリオでも実現可能性が示された。