[論文レビュー] The Open World of Micro-Videos

Phuc Xuan Nguyen, Grégory Rogez+2 more|arXiv (Cornell University)|Mar 31, 2016

Human Pose and Action Recognition参考文献 30被引用数 19

ひとこと要約

本稿では、264,327本のマイクロビデオと58,243の動的ハッシュタグを備えた大規模なオープンワールドデータセットMV-58kを紹介し、オープンワールド、視点多様性、時間的変化を伴う状況下における動画理解の研究を可能にする。深視覚的および運動特徴を用いた視点別・時間に適応するモデルを提案し、データの精錬が精度向上に寄与すること、および時間的ダイナミクスがタグ予測性能に顕著に影響することを示している。

ABSTRACT

Micro-videos are six-second videos popular on social media networks with several unique properties. Firstly, because of the authoring process, they contain significantly more diversity and narrative structure than existing collections of video "snippets". Secondly, because they are often captured by hand-held mobile cameras, they contain specialized viewpoints including third-person, egocentric, and self-facing views seldom seen in traditional produced video. Thirdly, due to to their continuous production and publication on social networks, aggregate micro-video content contains interesting open-world dynamics that reflects the temporal evolution of tag topics. These aspects make micro-videos an appealing well of visual data for developing large-scale models for video understanding. We analyze a novel dataset of micro-videos labeled with 58 thousand tags. To analyze this data, we introduce viewpoint-specific and temporally-evolving models for video understanding, defined over state-of-the-art motion and deep visual features. We conclude that our dataset opens up new research opportunities for large-scale video analysis, novel viewpoints, and open-world dynamics.

研究の動機と目的

• オープンワールド動画理解に適した大規模で多様性に富み、動的に進化する動画データセットが不足しているという問題に取り組む。
• 特にエゴセントリックおよびセルフフレーミングの視点が、動画認識タスクに与える影響を調査する。
• 動画コンテンツおよびタグの人気度の時間的ダイナミクスをモデリングし、現実世界のオープンワールド的進化を反映する。
• 訓練用に精錬済みデータと生データの効果を比較し、耐障害性の高い動画理解システムの構築におけるデータ品質と量のトレードオフを評価する。
• ストリーミングで得られる現実世界の動画データにおける、生涯学習およびオープンボキャブラリー認識を探索する。

提案手法

• 著者らは、ソーシャルメディアから収集した264,327本のマイクロビデオから成るMV-58kというデータセットを構築し、58,243の動的ハッシュタグでアノテーションを施した。
• 動画表現として、最先端の深視覚特徴（例：I3D）および運動特徴（例：フロー）を抽出した。
• 第三者視点、エゴセントリック視点、セルフフレーミング視点という異なるカメラアングルに対応する視点別モデルを設計した。
• 最近のデータを再訓練することで、タグの人気度の変化や意味的ずれ（セマンティックドリフト）に対応する時間に適応するモデルを導入した。
• 予測の時間的精度を向上させるために、過去のデータをスライディングウインドウで用いたプラットフォームキャリブレーションを因果モデルに適用した。
• データ品質と量のトレードオフを評価するために、精錬済みデータ（MV-40）と生データ（MV-58k）の性能を比較した。

実験結果

リサーチクエスチョン

• RQ1 マイクロビデオの多様性および物語的構造は、従来の動画スニペット集と比べてどのように異なるか？
• RQ2 マイクロビデオにおけるエゴセントリックおよびセルフフレーミングの視点は、既存の動画理解モデルにどの程度の挑戦をもたらすか？
• RQ3 タグの人気度および意味的意味はどのように時間経過とともに変化するのか？ また、モデルはこれらのオープンワールド的ダイナミクスにどのように適応できるか？
• RQ4 データの精錬と生データの量のどちらが、タグ予測精度により大きな影響を与えるか？
• RQ5 適応的かつ因果的なモデルは、ストリーミング動画データにおける将来のタグ人気度を効果的に予測できるか？

主な発見

• 精錬済みデータ（MV-40）は、2倍のサイズの生データ（MV-58k）よりも高い精度を達成しており、タグ予測においてデータ品質が量を大きく上回ることを示している。
• 生データのトレーニングデータ量をわずか2倍未満に増加させただけで、手動で精錬されたデータセットの性能に匹敵する結果が得られ、オープンワールドデータのスケーラビリティが示された。
• タグごとの予測性能には差が生じる：「簡単な」タグ（例：#cavs, #warriors）は少量のデータでも学習可能である一方、「学習不能な」タグ（例：#revine, #lol）は、大規模なトレーニングセットを用いてもAPがほぼゼロのままにとどまる。
• 最近のデータを用いた適応的トレーニングを実施する時間モデルは、固定トレーニングセットを用いたモデルを上回り、3週間のウインドウでキャリブレーションした場合、mAPが23.5％まで向上した。
• 未来のデータを用いた非因果的モデル（未来データを含む）は、理想的な未来分布でキャリブレーションした場合に28％のmAPを達成しており、因果的時間モデリングにおける改善の余地が依然として大きいことが示された。
• 本データセットは顕著なロングテイル統計と動的タグ進化を示しており、オープンワールド的、ストリーミング動画理解のベンチマークとしての有効性が裏付けられた。