[論文レビュー] Towards Multimodal Content Representation

Harry Bunt, Laurent Romary|ArXiv.org|Sep 23, 2009

Speech and dialogue systems参考文献 7被引用数 47

ひとこと要約

本論文は、会話、ジェスチャー、顔の表情、その他のモダリティを統合し、効果的な人間-コンピュータ相互作用を実現するための統一的で整合性のあるモデルに統合する、マルチモーダルコンテンツ表現のフレームワークを提案する。これは、意味的および実用的モデリングに基づく一般的な表現アプローチを提示し、マルチモーダルシステムにおける調整、整合性、文脈に配慮した適応を強調する。

ABSTRACT

Multimodal interfaces, combining the use of speech, graphics, gestures, and facial expressions in input and output, promise to provide new possibilities to deal with information in more effective and efficient ways, supporting for instance: - the understanding of possibly imprecise, partial or ambiguous multimodal input; - the generation of coordinated, cohesive, and coherent multimodal presentations; - the management of multimodal interaction (e.g., task completion, adapting the interface, error prevention) by representing and exploiting models of the user, the domain, the task, the interactive context, and the media (e.g. text, audio, video). The present document is intended to support the discussion on multimodal content representation, its possible objectives and basic constraints, and how the definition of a generic representation framework for multimodal content representation may be approached. It takes into account the results of the Dagstuhl workshop, in particular those of the informal working group on multimodal meaning representation that was active during the workshop (see http://www.dfki.de/~wahlster/Dagstuhl_Multi_Modality, Working Group 4).

研究の動機と目的

• 異なるモダリティにおける曖昧な入力や不完全な入力を理解するのを支援するマルチモーダルコンテンツ表現の基盤を確立すること。
• ユーザー、タスク、ドメイン、文脈をモデリングすることで、調整され、一貫性があり、整合性のあるマルチモーダルプレゼンテーションの生成を可能にすること。
• ユーザー状態、メディア、相互作用文脈の構造的表現を通じて、マルチモーダル相互作用の管理を支援すること。
• ダーストゥル・ワークショップからの知見を通じて、国際的なマルチモーダルコンテンツ表現の標準化の開発を支援すること。
• 多様なマルチモーダルアプリケーションやシステムに適用可能な汎用的で拡張可能なフレームワークを定義すること。

提案手法

• ユーザー、タスク、ドメイン、文脈の意味的および実用的モデリングに基づく、マルチモーダルコンテンツ表現の概念的フレームワークを提案する。
• テキスト、音声、動画、ジェスチャー、顔の表情といった複数のモダリティを、共有表現空間に統合する。
• ユーザー意図、相互作用状態、メディア制約のモデルを用いて、マルチモーダル出力生成を調整する。
• マルチモーダル意味表現に関するダーストゥル・ワークショップの非公式作業グループの知見を活用する。
• 入力の解釈と出力生成の両方を支援する形式的かつ拡張可能な表現の必要性を強調する。
• マルチモーダル出力が知覚的および意味的に整合するように保証するため、整合性と一貫性の原則に依拠する。

実験結果

リサーチクエスチョン

• RQ1 曖昧な入力や不完全な入力を理解するのに役立つマルチモーダルコンテンツの表現方法は何か？
• RQ2 調整され、一貫性があり、整合性のあるマルチモーダルプレゼンテーションを生成するために必要な構造的および意味的要素は何か？
• RQ3 ユーザー、タスク、ドメイン、文脈のモデルを統一的なマルチモーダル表現フレームワークに統合する方法は何か？
• RQ4 汎用的なマルチモーダル表現フレームワークが広く適用可能であるために満たすべき制約と要件は何か？
• RQ5 このようなフレームワークは、標準的かつ相互運用可能なマルチモーダルシステムの開発をどのように支援できるか？

主な発見

• 意味的・実用的・文脈的モデルを複数のモダリティにわたって統合することで、汎用的なマルチモーダルコンテンツ表現フレームワークを構築できる。
• 会話、ジェスチャー、顔の表情といった複数のモダリティの調整には、整合性と一貫性を保証する共有表現が必要である。
• 統一されたモデリングを通じて、マルチモーダル入力の解釈とマルチモーダル出力の生成の両方をサポートするフレームワークが可能である。
• ダーストゥル・ワークショップの作業グループからの知見は、マルチモーダル表現における標準化と形式主義の重要性を浮き彫りにしている。
• 本アプローチにより、エラー防止やユーザー状態への適応を含む、相互作用のより良い管理が可能になる。
• 本フレームワークは、多様なマルチモーダルアプリケーションやシステムに適用可能であり、拡張可能に設計されている。