[논문 리뷰] Ego4D: Around the World in 3,000 Hours of Egocentric Video

Kristen Grauman, Andrew Westbury외 83명|arXiv (Cornell University)|2021. 10. 13.

Human Pose and Action Recognition인용 수 7

한 줄 요약

Ego4D는 931명의 참가자들이 74개의 글로벌 위치에서 촬영한 3,670시간의 첫 번째 시각 영상 데이터셋을 제공하며, 음성, 3D 메시, 시선, 다중 카메라 뷰를 포함한 풍부한 다중모달 레이블을 포함한다. 이 데이터셋은 과거(기록 기억), 현재(손-물체 상호작용, 청각-시각 대화), 미래(행동 예측) 이해를 포함한 첫 번째 시각 인식 연구를 위한 벤치마크를 가능하게 하며, 철저한 개인정보 보호 및 윤리 기준을 바탕으로 에고세트릭 시각 연구를 선진화한다.

ABSTRACT

We introduce Ego4D, a massive-scale egocentric video dataset and benchmark suite. It offers 3,670 hours of daily-life activity video spanning hundreds of scenarios (household, outdoor, workplace, leisure, etc.) captured by 931 unique camera wearers from 74 worldwide locations and 9 different countries. The approach to collection is designed to uphold rigorous privacy and ethics standards with consenting participants and robust de-identification procedures where relevant. Ego4D dramatically expands the volume of diverse egocentric video footage publicly available to the research community. Portions of the video are accompanied by audio, 3D meshes of the environment, eye gaze, stereo, and/or synchronized videos from multiple egocentric cameras at the same event. Furthermore, we present a host of new benchmark challenges centered around understanding the first-person visual experience in the past (querying an episodic memory), present (analyzing hand-object manipulation, audio-visual conversation, and social interactions), and future (forecasting activities). By publicly sharing this massive annotated dataset and benchmark suite, we aim to push the frontier of first-person perception. Project page: https://ego4d-data.org/

연구 동기 및 목표

• 제1인칭 시각 인식 연구를 위한 대규모, 다양한, 현실적인 제1인칭 영상 데이터의 부족을 해결한다.
• 기존의 제3인칭, 수집된, 짧은 지속시간의 데이터셋의 한계를 극복하기 위해 제1인칭 시각에서 장기적이고 시나리오가 없는 일상 활동을 촬영한다.
• 과거 사건 회상, 현재 상호작용 분석, 미래 행동 예측을 포함한 시간 차원에서의 제1인칭 인식 연구를 가능하게 한다.
• 참가자 동의, 데이터 익명화, 철저한 개인정보 보호 절차를 통해 윤리적인 데이터 수집을 보장함으로써 책임감 있는 AI 개발을 지원한다.
• 표준화된 작업을 갖춘 벤치마크 세트를 제공하여 제1인칭 영상 이해 분야에서 재현 가능한 발전을 이끌어내기 위함이다.

제안 방법

• 9개 국가의 74개 글로벌 위치에서 931명의 고유한 참가자들로부터 3,670시간의 시나리오가 없는 장기적 제1인칭 영상 데이터를 수집했다.
• 가벼운 카메라를 착용하여 가정, 직장, 실외 환경, 사회적 환경에서 자연스러운 일상 활동 중 제1인칭 시각을 촬영했다.
• 동기화된 음성, 3D 환경 메시, 시선, 스테레오 영상, 동일한 이벤트에서의 다중 카메라 뷰를 포함한 다중모달 레이블을 통합했다.
• 다섯 가지 벤치마크 작업을 설계 및 구현: 기록 기억 회상, 손-물체 상호작용 분석, 청각-시각 대화 이해, 사회적 상호작용 인식, 미래 행동 예측.
• 참가자 동의, 데이터 익명화, 오용을 방지하는 라이선스 계약을 포함한 철저한 개인정보 보호 및 윤리 절차를 수립했다.
• 표준화된 평가 및 재현 가능성을 위해 각 벤치마크 작업에 대해 기준 모델과 평가 프로토콜을 개발했다.

실험 결과

연구 질문

• RQ1 대규모이고 다양한 제1인칭 영상 데이터는 시간에 따라 제1인칭 시각 인식 모델링을 어떻게 향상시킬 수 있는가?
• RQ2 기록 기억 회상, 현재 상호작용 분석, 미래 행동 예측을 위한 제1인칭 영상 이해에서의 주요 과제는 무엇인가?
• RQ3 RGB 영상 외에도 청각, 시선, 3D 환경, 스테레오 신호와 같은 다중모달 신호는 제1인칭 인식을 어떻게 향상시킬 수 있는가?
• RQ4 대규모 제1인칭 영상 수집 및 공개를 위한 윤리적 및 개인정보 보호 수단은 무엇이 필요한가?
• RQ5 기존 모델이 실제의, 시나리오가 없는, 세계적으로 다양한 제1인칭 영상 데이터에 얼마나 일반화될 수 있는가?

주요 결과

• Ego4D는 931명의 참가자들이 74개의 글로벌 위치에서 촬영한 3,670시간의 제1인칭 영상 데이터를 제공하며, 공개 가능한 제1인칭 데이터의 규모와 다양성을 크게 확장한다.
• RGB 영상 외에도 음성, 3D 메시, 시선, 스테레오, 다중 카메라 뷰를 포함한 풍부한 다중모달 레이블이 포함되어 있어 RGB 영상 이상의 복잡한 인식 작업을 가능하게 한다.
• 과거, 현재, 미래 인식을 포함하는 다섯 가지 핵심 작업을 수반한 벤치마크 세트가 있으며, 표준화된 평가 프로토콜과 기준 모델이 함께 제공된다.
• 참가자 동의 및 데이터 익명화를 포함한 철저한 개인정보 보호 및 윤리 준수 조건 하에 수집되었으며, 오용을 방지하는 라이선스로 공개되었다.
• 로봇공학, AR/VR, 보조 기술, 노인 간병 분야의 제1인칭 인식 연구를 가능하게 하며 잠재적인 사회적 이점이 있다.
• 노력에도 불구하고 데이터에 불균형이 존재하며, 르완다에서의 데이터가 제한되어 있어 향후 더 많은 글로벌 협업을 통해 인구 및 지리적 커버리지의 개선이 필요하다.