[論文レビュー] Identifying First-person Camera Wearers in Third-person Videos

Chenyou Fan, Jangwon Lee+5 more|arXiv (Cornell University)|Apr 20, 2017

Human Pose and Action Recognition参考文献 18被引用数 5

ひとこと要約

本論文は、空間的情報と運動的情報を統合する共同埋め込み空間を学習することで、第3者視点の動画における第1者視点カメラ装着者の照合を目的とした、三重項損失を用いた準シアンプル・2ストリームCNNを提案する。本手法は、クロス・パースペクティブ照合のための特徴量と距離メトリクスを共同最適化することで、最先端の性能を達成し、挑戦的なベンチマークで69.3%のマルチウェイ分類精度を達成しており、ベースラインを著しく上回っている。

ABSTRACT

We consider scenarios in which we wish to perform joint scene understanding, object tracking, activity recognition, and other tasks in environments in which multiple people are wearing body-worn cameras while a third-person static camera also captures the scene. To do this, we need to establish person-level correspondences across first- and third-person videos, which is challenging because the camera wearer is not visible from his/her own egocentric video, preventing the use of direct feature matching. In this paper, we propose a new semi-Siamese Convolutional Neural Network architecture to address this novel challenge. We formulate the problem as learning a joint embedding space for first- and third-person videos that considers both spatial- and motion-domain cues. A new triplet loss function is designed to minimize the distance between correct first- and third-person matches while maximizing the distance between incorrect ones. This end-to-end approach performs significantly better than several baselines, in part by learning the first- and third-person features optimized for matching jointly with the distance measure itself.

研究の動機と目的

• 第1者視点の視点に自身の装着者が写っていないという点で、第3者視点の動画における誰が第1者視点カメラを装着しているかを特定するという課題に取り組むこと。
• 動的で多人数が関与する環境において、第1者視点と第3者視点の動画ストリームの間で、統合的なシーン理解、物体追跡、行動認識を可能にすること。
• 第1者視点と第3者視点の間で直接的な視覚的対応関係がないという点を補うために、運動、シーンコンテキスト、身体の動きといった間接的ヒントを活用すること。
• エンド・トゥ・エンドの学習フレームワークを構築し、クロス・パースペクティブ照合のための特徴抽出と距離メトリクス学習を共同で最適化すること。

提案手法

• 第1者視点と第3者視点の動画にそれぞれ別々の特徴抽出器を学習させる準シアンプルCNNアーキテクチャを提案し、ドメイン特化型の表現学習を可能にする。
• 空間的外観と運動（光流）特徴を並列に処理する2ストリームCNN設計を統合し、視覚的情報と動的特徴の両方を捉える。
• 正例ペア間の距離を最小化し、負例ペア間の距離を最大化する、新たな三重項損失関数を採用し、照合に最適化されたメトリクス空間を明示的に学習する。
• エンド・トゥ・エンドで訓練し、特徴学習と距離メトリクス学習を共同で最適化することで、特徴とメトリクスを別々に最適化する手法よりも優れた一般化性能を実現する。
• 動的または混雑したシーンに適応するため、第3者視点の動画で短い人物トラックレット（1フレーム以上）を用いて潜在的な照合候補を推定する。
• シアンプル、2ストリーム、三重項ベースのアーキテクチャの複数のバリエーションを評価し、各コンポーネントの性能寄与度をアブレーションする。

実験結果

リサーチクエスチョン

• RQ1 視覚的重複が欠如しているにもかかわらず、深層学習モデルが第1者視点動画とそれに対応するカメラ装着者を第3者視点動画で正確に照合できるような共同埋め込み空間を効果的に学習できるか？
• RQ2 空間的情報と運動的情報は、エゴセントリックおよび第3者視点の動画ストリームにおけるクロス・パースペクティブ人間照合の性能にどのように寄与するか？
• RQ3 各モodal毎に特徴を学習可能とする準シアンプルアーキテクチャが、完全共有のシアンプルまたは非シアンプルアーキテクチャを上回る性能を発揮するか？
• RQ4 正例ペアと負例ペアの間のマージンを明示的に最大化する三重項損失関数は、標準的な対照的損失と比較して、照合精度をどの程度向上させるか？
• RQ5 類似した運動パターンや遮断が生じるような失敗ケースにおいて、本手法はどの程度の耐性を示し、主な失敗モードは何か？

主な発見

• 提案された準シアンプル2ストリームCNNに三重項損失を組み合わせた手法は、主な評価ベンチマークで69.3%のマルチウェイ分類精度を達成し、次善のベースライン（63.9%）を著しく上回った。
• 正例の順序付けを誤検出よりも上位に置く能力を示し、平均精度が0.621に達した。
• 第1者視点と第3者視点の動画に別々のストリーム処理を行う準シアンプル設計は、完全共有のシアンプルネットワークよりも優れた性能を示し、モダリティ特化型の特徴学習の利点を示している。
• 三重項損失は、正例ペアと負例ペアの間のマージンを明示的に最大化することで、対照的損失よりも照合性能を向上させ、より判別力のある埋め込みを生成した。
• 複数のウェアラブルカメラを用いた実験では、50.0%のマルチウェイ分類精度を達成し、時間的同期に依存する手法（HOOF: 36.5%、フローマグニチュード: 44.2%）を上回った。
• 失敗事例の主な原因は、類似した運動パターン（例：うなずき vs. 座り込み）や第3者視点でのカメラ装着者の遮断であり、運動ベースの照合における課題を浮き彫りにしている。