[論文レビュー] Ego4D: Around the World in 3,000 Hours of Egocentric Video

Kristen Grauman, Andrew Westbury+83 more|arXiv (Cornell University)|Oct 13, 2021

Human Pose and Action Recognition被引用数 7

ひとこと要約

Ego4D は、9カ国における74か所の都市で、931名の参加者から収集した3,670時間に及ぶ、多様で現実的かつ大規模なエゴセントリック動画データセットを提供する。音声、3次元メッシュ、注視点、マルチカメラビューを含む豊富なマルチモーダルアノテーションを備え、過去（記憶想起）、現在（手と物体のインタラクション、音声と視覚の会話理解）、未来（行動予測）の理解という時間的次元にわたるエゴセントリックビジョンのベンチマークを可能にする。プライバシーと倫理基準を厳密に守った研究を推進する。

ABSTRACT

We introduce Ego4D, a massive-scale egocentric video dataset and benchmark suite. It offers 3,670 hours of daily-life activity video spanning hundreds of scenarios (household, outdoor, workplace, leisure, etc.) captured by 931 unique camera wearers from 74 worldwide locations and 9 different countries. The approach to collection is designed to uphold rigorous privacy and ethics standards with consenting participants and robust de-identification procedures where relevant. Ego4D dramatically expands the volume of diverse egocentric video footage publicly available to the research community. Portions of the video are accompanied by audio, 3D meshes of the environment, eye gaze, stereo, and/or synchronized videos from multiple egocentric cameras at the same event. Furthermore, we present a host of new benchmark challenges centered around understanding the first-person visual experience in the past (querying an episodic memory), present (analyzing hand-object manipulation, audio-visual conversation, and social interactions), and future (forecasting activities). By publicly sharing this massive annotated dataset and benchmark suite, we aim to push the frontier of first-person perception. Project page: https://ego4d-data.org/

研究の動機と目的

• 第一人称視覚認識研究における大規模で多様かつ現実的なエゴセントリック動画データの不足を解消すること。
• 従来の第三人称視点、収集済み、短時間のデータセットの限界を克服し、第一人称視点から自然な日常行動を長時間にわたり記録すること。
• 記憶の想起、現在のインタラクションの分析、将来の行動予測という時間的次元にわたる第一人称認識研究を可能にすること。
• 参加者の同意、データの匿名化、厳密なプライバシー保護プロトコルを含む、倫理的なデータ収集を確保し、責任あるAI開発を支援すること。
• 再現可能性を高めるために、標準化されたタスクを備えたベンチマークスイートを提供すること。

提案手法

• 9カ国における74か所の都市で、931名の異なる参加者から、3,670時間にわたる自然でシナリオなしのエゴセントリック動画を収集した。
• ウェアラブルカメラを用いて、自宅、職場、屋外、社会的環境など、日常の自然な状況での第一人称視点を記録した。
• 同期された音声、3次元シーンメッシュ、注視点、ステレオ動画、および同じイベントからのマルチカメラビューを含むマルチモーダルアノテーションを統合した。
• エピソード的記憶の想起、手と物体のインタラクション分析、音声と視覚の会話理解、社会的インタラクション認識、将来の行動予測の5つのベンチマークタスクを設計・実装した。
• 説明された同意、データの匿名化、不正利用を制限するライセンス契約を含む、厳密なプライバシーと倫理プロトコルを確立した。
• 各ベンチマークタスクの標準化された評価と再現性を可能にするために、ベースラインモデルと評価プロトコルを開発した。

実験結果

リサーチクエスチョン

• RQ1 大規模で多様なエゴセントリック動画データは、時間的次元にわたる第一人称視覚認識のモデリングをどのように向上させるか？
• RQ2 エピソード的記憶の想起、現在のインタラクション分析、将来の行動予測という文脈における第一人称動画理解の主な課題は何か？
• RQ3 音声、注視点、3次元シーン、ステレオ画像といったマルチモーダル信号は、RGB動画のみに比べて、第一人称認識をどのように向上させるか？
• RQ4 大規模なエゴセントリック動画の収集と公開にあたって、必要な倫理的・プライバシー保護対策は何か？
• RQ5 既存のモデルは、現実的で、自然な、かつグローバルに多様なエゴセントリック動画データに対して、どの程度一般化可能か？

主な発見

• Ego4D は、931名の参加者、74か所の国際的場所から、3,670時間の第一人称動画を提供し、公開可能なエゴセントリックデータの規模と多様性を大幅に拡大した。
• RGB動画を超える複雑な認識タスクを可能にする、音声、3次元メッシュ、注視点、ステレオ、マルチカメラビューを含む豊富なマルチモーダルアノテーションを備えている。
• 過去、現在、未来の認識をカバーする5つのコアタスクを含むベンチマークスイートが、標準化された評価プロトコルとベースラインモデルとともに提供されている。
• 参加者の同意とデータの匿名化を含む厳密なプライバシーと倫理基準に準拠して収集されたデータセットは、不正利用を制限するライセンスのもとで公開されている。
• ロボット工学、AR/VR、補助技術、エイジングケアの分野におけるエゴセントリック認識の新規研究を可能にし、社会的利点を有する。
• 努力を重ねたにもかかわらず、ルワンダからのデータが限定的であるなど、データの偏りが見られるため、今後も包括的な人種的・地理的カバレッジを高めるための国際的協力が不可欠である。