[论文解读] Ego-Exo4D: Understanding Skilled Human Activity from First- and Third-Person Perspectives
Ego-Exo4D 引入了一个大规模、多模态的数据集,包含同步的自我视角(egocentric)和外部视角(exocentric)的熟练活动视频,以及四个基准任务族和基线模型。
We present Ego-Exo4D, a diverse, large-scale multimodal multiview video dataset and benchmark challenge. Ego-Exo4D centers around simultaneously-captured egocentric and exocentric video of skilled human activities (e.g., sports, music, dance, bike repair). 740 participants from 13 cities worldwide performed these activities in 123 different natural scene contexts, yielding long-form captures from 1 to 42 minutes each and 1,286 hours of video combined. The multimodal nature of the dataset is unprecedented: the video is accompanied by multichannel audio, eye gaze, 3D point clouds, camera poses, IMU, and multiple paired language descriptions -- including a novel "expert commentary" done by coaches and teachers and tailored to the skilled-activity domain. To push the frontier of first-person video understanding of skilled human activity, we also present a suite of benchmark tasks and their annotations, including fine-grained activity understanding, proficiency estimation, cross-view translation, and 3D hand/body pose. All resources are open sourced to fuel new research in the community. Project page: http://ego-exo4d-data.org/
研究动机与目标
- 推动从第一人称和第三人称视角理解熟练的人类活动。
- 提供跨多个领域的多样化、大规模数据集,具备同步的 ego 与 exo 视频。
- 用多模态信号和语言资源对数据进行注释,以支持多模态感知与学习。
- 定义利用 ego-exo 关系以推动跨视角理解和教练应用的基准任务。
提出的方法
- 使用 Aria 眼镜和 4–5 个外部镜头相机捕捉并发布一个低成本、同步的 ego-exo 仪器。
- 从 13 个城市的 131 个场景中,抽取 839 名参与者的视频,总时长 1,422 小时,共 5,625 组镜头。
- 提供多模态数据:音频、IMU、眼动、RGB/SLAM 摄像头,以及 3D 环境点云,外加带时间索引的语言注释。
- 注释三对语言资源:专家解说、叙述-行动描述,以及原子动作描述。
- 定义包含四个任务族(relation、recognition、proficiency、ego pose)的基准套件,以及广泛的基线模型。
实验结果
研究问题
- RQ1如何将自我视角和外部视角联系起来,以在极端视点变化中实现翻译或对应?
- RQ2模型在使用成对的 ego-exo 训练数据时,能否识别细粒度关键步骤?
- RQ3模型能否从 ego 和 exo 视角估计熟练程度,包括技能质量的时间定位?
- RQ4在真实世界环境中,从 ego 视频恢复 3D 身体/手部姿态的可行性如何?
- RQ5语言数据(专家解说、叙述、原子描述)如何支持多模态技能理解与定位?
主要发现
- 该数据集包含 1,422 小时的 ego+exo 视频、5,625 组镜头,以及 839 位穿戴摄像头者,在 13 个城市的 131 个场景中。
- 多模态资源包括 7 通道音频、IMU、眼动、SLAM 摄像头、3D 点云,以及三对带有广泛时间索引的语言语料库。
- 提出四个基准任务族:ego-exo 关系、ego(-exo) 识别、ego(-exo) 熟练度估计,以及 ego pose,每个都附有注释和基线。
- 计划在 2024 年启动基线模型和公开基准挑战,数据与代码将开源。
- 专家解说语言流提供面向执行质量而非内容的细粒度评估线索。
阅读本论文
在 Nubint 阅读器中打开原文,边读边就任意段落提问。
在 Nubint 中阅读本论文本解读由 AI 根据论文原文生成,引用前请核对原文。