[论文解读] Ego4D: Around the World in 3,000 Hours of Egocentric Video

Kristen Grauman, Andrew Westbury+83 more|arXiv (Cornell University)|Oct 13, 2021

Human Pose and Action Recognition被引用 7

一句话总结

Ego4D 引入了一个大规模、多样化的第一人称视频数据集，涵盖来自全球 74 个地点的 931 名参与者拍摄的 3,670 小时第一人称影像，包含丰富的多模态标注，如音频、3D 模型、视线追踪以及多摄像头视角。该数据集支持在回忆过去（情景记忆）、理解当下（人机交互、视听对话）和预测未来（活动预测）三个时间维度上进行第一人称感知的基准测试，推动了在严格隐私与伦理标准下第一人称视觉研究的发展。

ABSTRACT

We introduce Ego4D, a massive-scale egocentric video dataset and benchmark suite. It offers 3,670 hours of daily-life activity video spanning hundreds of scenarios (household, outdoor, workplace, leisure, etc.) captured by 931 unique camera wearers from 74 worldwide locations and 9 different countries. The approach to collection is designed to uphold rigorous privacy and ethics standards with consenting participants and robust de-identification procedures where relevant. Ego4D dramatically expands the volume of diverse egocentric video footage publicly available to the research community. Portions of the video are accompanied by audio, 3D meshes of the environment, eye gaze, stereo, and/or synchronized videos from multiple egocentric cameras at the same event. Furthermore, we present a host of new benchmark challenges centered around understanding the first-person visual experience in the past (querying an episodic memory), present (analyzing hand-object manipulation, audio-visual conversation, and social interactions), and future (forecasting activities). By publicly sharing this massive annotated dataset and benchmark suite, we aim to push the frontier of first-person perception. Project page: https://ego4d-data.org/

研究动机与目标

• 解决第一人称视觉感知研究中缺乏大规模、多样化且真实的 egocentric 视频数据的问题。
• 通过从第一人称视角捕捉长时间、未经编排的日常活动，克服现有第三人称、精选且时长短的数据集的局限性。
• 支持在时间维度上开展第一人称感知研究：回溯过去事件、分析当前交互、预测未来动作。
• 通过参与者知情同意、数据去标识化以及严格的隐私协议，确保伦理合规的数据采集，支持负责任的人工智能发展。
• 提供标准化的基准任务套件，推动第一人称视频理解研究的可复现性进展。

提出的方法

• 从全球 9 个国家的 74 个地点，收集了 931 名不同参与者拍摄的 3,670 小时未经编排、长时间的第一人称视频。
• 使用可穿戴摄像头在家庭、工作场所、户外环境及社交场景中，记录自然日常活动的第一人称视角。
• 整合多模态标注，包括同步音频、3D 场景网格、视线追踪、立体视频以及同一事件的多摄像头视角。
• 设计并实施五项基准任务：情景记忆检索、手-物体交互分析、视听对话理解、社交互动识别与未来活动预测。
• 建立严格的隐私与伦理协议，包括知情同意、数据去标识化，以及限制滥用的许可协议。
• 为每一项基准任务开发基线模型与评估协议，以支持标准化评估与可复现性。

实验结果

研究问题

• RQ1 大规模、多样化的 egocentric 视频数据在提升跨时间维度的第一人称视觉感知建模方面有何作用？
• RQ2 在情景记忆检索、当前交互分析与未来动作预测任务中，理解第一人称视频面临的主要挑战是什么？
• RQ3 多模态信号（音频、视线、3D 场景、立体视觉）如何在仅使用 RGB 视频的基础上增强第一人称感知能力？
• RQ4 在大规模 egocentric 视频采集与公开发布过程中，需要哪些伦理与隐私保护措施？
• RQ5 现有模型在真实世界、未经编排且具有全球多样性的 egocentric 视频数据上，其泛化能力达到何种程度？

主要发现

• Ego4D 提供了来自全球 74 个地点的 931 名参与者的 3,670 小时第一人称视频，显著扩展了公开可用的第一人称数据的规模与多样性。
• 该数据集包含丰富的多模态标注——包括音频、3D 模型、视线、立体视觉与多摄像头视角，支持超越 RGB 视频的复杂感知任务。
• 基准任务套件涵盖五项核心任务，覆盖过去、现在与未来的感知维度，配备标准化评估协议与基线模型。
• 数据集在严格遵守隐私与伦理规范的前提下采集，包括参与者知情同意与数据去标识化，并以限制滥用的许可协议发布。
• 该项目为机器人、AR/VR、辅助技术与老年照护等应用领域的新一代第一人称感知研究提供了支持，具有潜在的社会效益。
• 尽管已采取诸多努力，数据集仍存在不平衡问题，例如卢旺达的数据有限，凸显了未来需持续推动全球合作以改善人口与地理覆盖。