[論文レビュー] Charades-Ego: A Large-Scale Dataset of Paired Third and First Person Videos

Gunnar A. Sigurdsson, Abhinav Gupta+3 more|arXiv (Cornell University)|Apr 25, 2018

Video Surveillance and Tracking Methods参考文献 8被引用数 97

ひとこと要約

Charades-Egoを紹介します。第三者視点と第一人称視点のペア動画を用いた共同のエゴセントリックおよび三人称アクション理解のための大規模データセットで、68,536件のアクティビティインスタンスを68.8時間以上にわたり提供し、それに付随する注釈を含みます。

ABSTRACT

In Actor and Observer we introduced a dataset linking the first and third-person video understanding domains, the Charades-Ego Dataset. In this paper we describe the egocentric aspect of the dataset and present annotations for Charades-Ego with 68,536 activity instances in 68.8 hours of first and third-person video, making it one of the largest and most diverse egocentric datasets available. Charades-Ego furthermore shares activity classes, scripts, and methodology with the Charades dataset, that consist of additional 82.3 hours of third-person video with 66,500 activity instances. Charades-Ego has temporal annotations and textual descriptions, making it suitable for egocentric video classification, localization, captioning, and new tasks utilizing the cross-modal nature of the data.

研究の動機と目的

• 第三者視点データの豊富さを活用してエゴセントリック理解を向上させるために、第三者動画理解と第一人称動画理解を結びつける。
• ペアされたビューと時間/テキスト注釈を備えた大規模で多様なエゴセントリックデータセットを提供する。
• クロスモーダルデータを用いたエゴセントリック動画の分類、局在化、キャプショニングのタスクを可能にする。

提案手法

• 働き手が額に取り付けた装着デバイスと標準的な三人称設定の両方を用いて、第一人称視点と第三者視点のスクリプト記録を収集する。
• 第一人称と第三者視点を対として作業者に提示し、第三者視点を用いて第一人称注釈を情報提供して、クロスビュー注釈を時間的にビデオに付与する。
• ドメイン間の一貫性を確保するため、Charadesデータセットと同様のアクティビティクラス、スクリプト、方法論をCharades-Egoに共有する。
• データをトレーニングとテストに分割し、被験者の重複なしで（80/20の分割）。
• 第一人称データと第三者データの両方でトレーニングされたベースラインを提供し、クロスビュー転移とゼロショットのエゴセントリック認識を評価する。）

実験結果

リサーチクエスチョン

• RQ1 第一人称と第三者視点の動画を共同で学習させてエゴセントリック理解を改善できるか？
• RQ2 第三者データで学習したモデルはエゴセントリック動画タスクにどれだけ転移するか？
• RQ3 第一人称の注釈をエゴセントリック動画の分類と局在化に組み込む利点は何か？

主な発見

• Charades-Egoは、68.8時間のペアビデオ（第一人称と第三者視点）における68,536件のエゴセントリック活動インスタンスを含む。
• Charadesの方法論とクラスで、追加の82.3時間の第三者ビデオと66,500件のアクティビティインスタンスがCharades-Egoと共有されている。
• 第一人称ラベル付きデータはCharades-Egoデータでトレーニングした場合、エゴセントリックテストセットの性能を向上させる（例：First/Third trainingはFirst-Person TestでTable 1の値が28.2）。
• ゼロショットのエゴセントリックベースラインは競争力のある性能を示す（例：ResNet-152 Charades-Egoはエゴセントリックテストで28.2を達成）。
• 第三者で訓練されたモデルだけを用いても強力な第三者モデルがある場合には精度が改善されないことがあり、第一人称データを取り入れるとエゴセントリックタスクでのゲインが得られる。