[論文レビュー] Modeling and Annotating the Expressive Semantics of Dance Videos

Kannan, Rajkumar, Ramadoss Balakrishnan|arXiv (Cornell University)|Jan 4, 2010

Video Analysis and Summarization参考文献 25被引用数 7

ひとこと要約

本論文は、楽曲に基づくコンポーネントを用いて、複数の粒度レベルでダンス動画内の表現的意味を表現する汎用的なダンス動画意味構造モデル（DVSM）を提案する。マイクロレベルの特徴を捉えるために新規の「エージェント」エンティティを導入し、マクロおよびマイクロレベルの特徴のアノテーションを実現するJ2SEおよびJMFベースのツールを実装し、例と評価結果を通じて有効性を示している。

ABSTRACT

Dance videos are interesting and semantics-intensive. At the same time, they are the complex type of videos compared to all other types such as sports, news and movie videos. In fact, dance video is the one which is less explored by the researchers across the globe. Dance videos exhibit rich semantics such as macro features and micro features and can be classified into several types. Hence, the conceptual modeling of the expressive semantics of the dance videos is very crucial and complex. This paper presents a generic Dance Video Semantics Model (DVSM) in order to represent the semantics of the dance videos at different granularity levels, identified by the components of the accompanying song. This model incorporates both syntactic and semantic features of the videos and introduces a new entity type called, Agent, to specify the micro features of the dance videos. The instantiations of the model are expressed as graphs. The model is implemented as a tool using J2SE and JMF to annotate the macro and micro features of the dance videos. Finally examples and evaluation results are provided to depict the effectiveness of the proposed dance video model. Keywords: Agents, Dance videos, Macro features, Micro features, Video annotation, Video semantics.

研究の動機と目的

• 他の動画タイプと比較して複雑で意味的密度の高いダンス動画における表現的意味の研究が不足していることに対処する。
• マルチメディア研究においてしばしば無視されがちな、ダンス動画におけるマクロおよびマイクロレベルの意味をモデル化する課題を克服する。
• ダンス動画における表現的特徴の細粒度な表現を可能にする汎用的な概念的モデルを開発する。
• 個々のダンサーやダンスユニットの動きや表情といったマイクロレベルの特徴を明示的にモデル化するため、「エージェント」エンティティを導入する。
• 検索や分析を支援するため、ダンス動画の意味的特徴を自動でアノテートできる実用的ツールを実装する。

提案手法

• 楽曲のコンポーネントに基づいて、異なる粒度レベルの意味を表現するための概念的モデル「ダンス動画意味構造モデル（DVSM）」を提案する。
• 包括的な動画理解を支援するため、文法的（構造的）および意味的（意味に基づく）特徴をDVSMに統合する。
• 個々のダンサーやダンスユニットを表すために、新たなエンティティタイプ「エージェント」を導入し、マイクロレベルの表現的特徴を捉える。
• 意味的関係の構造的表現と推論を可能にするために、モデルのインスタンス化をグラフとして表現する。
• J2SEおよびJava Media Framework（JMF）を用いてモデルを実装し、実世界のダンス動画処理に向けた機能的なアノテーションツールを構築する。
• サンプル動画において、マクロ特徴（例：ダンススタイル、リズム）およびマイクロ特徴（例：ジェスチャー、顔の表情）の両方をアノテートするためにツールを適用する。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてダンス動画における表現的意味を、複数の粒度レベルで効果的にモデル化できるか？
• RQ2 個々のダンサーの行動や感情といったマイクロレベルの表現的特徴を表現するために必要な概念的エンティティは何か？
• RQ3 ダンス動画の文法的および意味的特徴をどのように統合的にモデル化することで、より豊かな理解が可能になるか？
• RQ4 DVSMのような汎用モデルが、多様なダンス動画タイプのアノテーションをどの程度サポートできるか？
• RQ5 提案されたモデルおよびツールは、実世界のダンス動画アノテーションタスクにおいて、実用的にどの程度の効果を示すか？

主な発見

• 提案されたダンス動画意味構造モデル（DVSM）は、楽曲に基づくセグメンテーションを用いて、ダンス動画におけるマクロおよびマイクロレベルの意味を効果的に捉えている。
• 「エージェント」エンティティの導入により、個々のダンサーの行動や表現の微細なニュアンスをマイクロレベルで正確にモデル化できるようになった。
• J2SEおよびJMFを用いた実装により、表現的意味のための機能的なアノテーションツールの構築が実現可能であることが示された。
• 評価例から、モデルが複雑なダンスの意味を意味的かつ構造的な形で表現できることを示している。
• モデルは、リズム、スタイル、ジェスチャー、感情表現といった多様な表現的特徴の効果的なアノテーションを可能にしている。
• グラフベースのインスタンス化により、ダンス動画における意味的関係のスケーラブルで拡張可能な表現が可能になった。