Skip to main content
QUICK REVIEW

[논문 리뷰] Ego-Exo4D: Understanding Skilled Human Activity from First- and Third-Person Perspectives

Kristen Grauman, Andrew Westbury|arXiv (Cornell University)|2023. 11. 30.
Human Pose and Action RecognitionComputer Science인용 수 18
한 줄 요약

Ego-Exo4D는 숙련된 활동의 자가시점(Ego) 및 엑소시점(exo) 비디오를 동기화한 대규모 멀티모달 데이터셋과 네 가지 벤치마크 작업군 및 베이스라인 모델을 도입합니다.

ABSTRACT

We present Ego-Exo4D, a diverse, large-scale multimodal multiview video dataset and benchmark challenge. Ego-Exo4D centers around simultaneously-captured egocentric and exocentric video of skilled human activities (e.g., sports, music, dance, bike repair). 740 participants from 13 cities worldwide performed these activities in 123 different natural scene contexts, yielding long-form captures from 1 to 42 minutes each and 1,286 hours of video combined. The multimodal nature of the dataset is unprecedented: the video is accompanied by multichannel audio, eye gaze, 3D point clouds, camera poses, IMU, and multiple paired language descriptions -- including a novel "expert commentary" done by coaches and teachers and tailored to the skilled-activity domain. To push the frontier of first-person video understanding of skilled human activity, we also present a suite of benchmark tasks and their annotations, including fine-grained activity understanding, proficiency estimation, cross-view translation, and 3D hand/body pose. All resources are open sourced to fuel new research in the community. Project page: http://ego-exo4d-data.org/

연구 동기 및 목표

  • 일인칭(자가) 및 삼인칭(타인) 시점 모두에서 숙련된 인간 활동의 이해를 촉진합니다.
  • 여러 도메인에 걸쳐 자가(+엑소) 비디오가 동기화된 다양하고 대규모의 데이터셋을 제공합니다.
  • 다중 모달 신호와 언어 자원을 사용해 데이터를 주석화하여 다중 모달 인지 및 학습을 지원합니다.
  • 자가-엑소 관계를 활용한 벤치마크 작업을 정의하여 교차 뷰 이해와 코칭 응용을 발전시킵니다.

제안 방법

  • Aria 안경과 4–5대의 엑소 시점 카메라를 사용한 저비용의 동기화된 자가-엑소 rig를 캡처하고 공개합니다.
  • 13개 도시의 131 장면에서 839 참가자로부터 1,422시간의 비디오를 수집하고, 5,625회 촬영.
  • 오디오, IMU, 시선 추적, RGB/SLAM 카메라, 3D 환경 포인트 클라우드와 함께 시간 인덱스가 부여된 언어 주석 등 다중 모달 데이터를 제공합니다.
  • 전문가 논평, 서술-행동 설명, 원자 동작 설명의 세 가지 쌍 언어 자원을 주석화합니다.
  • 네 가지 작업군(관계, 인식, 숙련도 추정, 자가 자세)과 광범위한 베이스라인 모델을 포함하는 벤치마크 스위트를 정의합니다.

실험 결과

연구 질문

  • RQ1자가시점과 엑소시점의 시점을 극단적으로 변화하는 경우에 어떻게 관련되어 서로 변환되거나 대응될 수 있을까요?
  • RQ2쌍으로 구성된 자가-엑소 학습 데이터를 사용하여 모델이 미세한 주요 단계들을 얼마나 잘 인식할 수 있을까요?
  • RQ3자가 및 엑소 시점에서 숙련도를 추정할 수 있을까요, 숙련도 품질의 시간적 위치화도 포함하여?
  • RQ4실세계 환경에서 자가 영상으로부터 3D 바디/손 포즈를 회복하는 실현 가능성은 어느 정도일까요?
  • RQ5언어 데이터(전문가 논평, 해설, 원자 설명)가 다중 모달 기술 이해 및 바인딩 지원에 어떻게 기여할 수 있을까요?

주요 결과

  • 데이터셋은 1,422시간의 자가+엑소 비디오, 5,625회 촬영, 839명의 카메라 착용자가 13개 도시의 131개 장면에서 수집되었습니다.
  • 다중 모달 자원에는 7채널 오디오, IMU, 시선 추적, SLAM 카메라, 3D 포인트 클라우드, 그리고 광범위한 시간 인덱싱이 포함된 세 쌍의 언어 말뭉치가 포함됩니다.
  • 네 개의 벤치마크 작업군이 제안됩니다: 자가-엑소 관계, 자가(-엑소) 인식, 자가(-엑소) 숙련도 추정, 그리고 자가 자세. 각 작업군은 주석과 베이스라인을 포함합니다.
  • 베이스라인 모델과 공개 벤치마크 챌린지가 2024년에 시작될 예정이며, 데이터와 코드가 오픈 소스될 것입니다.
  • 전문가 논평 언어 스트림은 콘텐츠보다는 실행 품질에 초점을 맞춘 세밀한 평가 신호를 제공합니다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.