[論文レビュー] A Survey on Recent Advances of Computer Vision Algorithms for Egocentric Video

Sven Bambach|arXiv (Cornell University)|Jan 12, 2015

Advanced Image and Video Retrieval Techniques参考文献 34被引用数 16

ひとこと要約

本サーベイは、エゴセントリック動画におけるコンピュータビジョンの進展を包括的に概説し、物体認識、アクティビティ検出、ライフログ動画要約の3分野に焦点を当てる。オブジェクトの中央集中、前景セグメンテーションのための光流、および手と物体の相互作用といったエゴセントリック特有の手がかりを活用する手法を評価し、従来の第三者視点手法と比較して、オブジェクト中心のアプローチが顕著に認識性能と要約性能を向上させることを示している。

ABSTRACT

Recent technological advances have made lightweight, head mounted cameras both practical and affordable and products like Google Glass show first approaches to introduce the idea of egocentric (first-person) video to the mainstream. Interestingly, the computer vision community has only recently started to explore this new domain of egocentric vision, where research can roughly be categorized into three areas: Object recognition, activity detection/recognition, video summarization. In this paper, we try to give a broad overview about the different problems that have been addressed and collect and compare evaluation results. Moreover, along with the emergence of this new domain came the introduction of numerous new and versatile benchmark datasets, which we summarize and compare as well.

研究の動機と目的

• エゴセントリック動画という、特有の課題と機会を有する成長著しい分野における、最近のコンピュータビジョン研究を広く体系的に概説すること。
• 物体認識、アクティビティ／アクション検出、ライフログ用の動画要約という3つの主要分野における既存研究を分類・比較すること。
• これらの分野におけるさまざまなアルゴリズムの性能を分析・比較し、オブジェクト中央性や運動パターンといったエゴセントリック特有要因の影響を浮き彫りにすること。
• 近年導入されたベンチマークデータセットの増加を要約・比較し、その多様性と今後の研究に与える有用性を強調すること。
• トレンドと未解決の課題を特定し、標準化されたベンチマークの欠如や、弱教師ありまたは手作業特徴に基づくアプローチの優位性といった点を挙げること。

提案手法

• 本論文は、エゴセントリック動画におけるコンピュータビジョン研究を体系的にレビューし、研究を3つの主要なカテゴリに分類する：物体認識、アクティビティ検出、ライフログ要約。
• SIFTやSVMといった標準的な認識システムのエゴセントリックデータセットへの適用を評価し、グランドトゥースセグメンテーションと制御されたシミュレーションを用いて、遮蔽やごみの影響といった課題を評価する。
• 光流と空間的事前知識（例：位置と運動の事前知識）を用いた運動ベースの前景セグメンテーションを分析し、背景ノイズから操作された物体を分離する。
• 弱教師ありと強教師ありのアプローチを、物体共起、状態変化、注視方向統合に基づく手法を含めて、アクティビティ認識の観点から比較する。
• 長時間のエゴセントリック動画におけるキーフレーム選択と要約技術を評価し、関与した物体や人物をサリエンシーの手がかりとして強調する。
• 公開済みのベンチマークデータセットを詳細に比較し、その範囲、アノテーションの質、さまざまなタスクへの適性を評価する。

実験結果

リサーチクエスチョン

• RQ1 カメラの運動、オブジェクトの中央集中、頻繁な遮蔽といったエゴセントリック動画の特徴が、標準的なコンピュータビジョンアルゴリズムの性能にどのように影響を与えるか？
• RQ2 光流と運動事前知識を用いることで、エゴセントリック動画における前景セグメンテーションとその後の物体認識がどの程度向上するか？
• RQ3 オブジェクト中心のアプローチとボディモーションに基づく手法を比較した場合、第一人称のアクションやアクティビティを認識する上でどちらが優れているか？
• RQ4 長時間のエゴセントリックライフログ動画を要約する際に最も効果的な特徴は何か？また、これらは第三人称動画要約技術とどのように異なるか？
• RQ5 エゴセントリック動画用ベンチマークデータセット開発における主な課題とトレンドは何か？また、それらは研究の再現性と比較可能性にどのように影響を与えるか？

主な発見

• 標準的なSIFTとSVM手法を用いたエゴセントリック動画における物体認識では、ランダム確率（2.4%）を著しく上回る12%の認識率を達成したが、遮蔽やごみといった現実世界の課題では性能が著しく低下した。
• 遮蔽と背景のごみをシミュレートした結果、クリーンな上限値（63.7%）から認識精度が30.3%に低下し、エゴセントリック特有の視覚的劣化が顕著に影響を与えることが示された。
• 運動および位置に基づく事前知識は、前景セグメンテーションを著しく改善し、動的な背景から操作された物体を分離することで、より良い物体認識を可能にした。
• 光流に基づくセグメンテーションは、手や物体がカメラ中心付近を予測可能なパターンで動くことから、一般の動画セグメンテーション手法よりもエゴセントリック動画で優れた性能を示した。
• 物体共起と状態変化は、サンドイッチ作りのような複雑なアクティビティ認識において、外観や運動に依存する手法よりも優れた弱教師ありの手がかりであった。
• 関与した物体や人物に基づくキーフレーム選択は、特に継続的で長時間のエゴセントリック動画ストリームにおいて、標準的手法よりもより代表的で意味のある要約を生成した。