[논문 리뷰] Ego-Exo: Transferring Visual Representations from Third-person to First-person Videos

Yanghao Li, Tushar Nagarajan외 2명|arXiv (Cornell University)|2021. 04. 16.

Human Pose and Action Recognition참고 문헌 72인용 수 5

한 줄 요약

이 논문은 제3인칭 영상 데이터셋에서 잠재적인 제1인칭 특화 신호(예: 손-물체 상호작용 및 제1인칭 시점 성격)를 지식 정복을 통해 비디오 기반 모델에 투입함으로써, 대규모 제3인칭 영상 데이터셋을 사용하여 제1인칭 영상 모델을 사전학습하는 Ego-Exo라는 방법을 제안한다. 이 방법은 쌍화된 제1인칭 데이터나 추가 모odal을 요구하지 않아도, Charades-Ego(+3.26 mAP) 및 EPIC-Kitchens-100에서 최신 기준 성능을 달성한다.

ABSTRACT

We introduce an approach for pre-training egocentric video models using large-scale third-person video datasets. Learning from purely egocentric data is limited by low dataset scale and diversity, while using purely exocentric (third-person) data introduces a large domain mismatch. Our idea is to discover latent signals in third-person video that are predictive of key egocentric-specific properties. Incorporating these signals as knowledge distillation losses during pre-training results in models that benefit from both the scale and diversity of third-person video data, as well as representations that capture salient egocentric properties. Our experiments show that our Ego-Exo framework can be seamlessly integrated into standard video models; it outperforms all baselines when fine-tuned for egocentric activity recognition, achieving state-of-the-art results on Charades-Ego and EPIC-Kitchens-100.

연구 동기 및 목표

• 제3인칭 영상 이해와 제1인칭 영상 이해 사이의 도메인 갭을 해결하기 위해, 기존의 제3인칭 데이터에서의 사전학습 방법이 시점과 주의의 차이로 인해 성능이 떨어지는 문제를 해결하고자 한다.
• 대규모 제3인칭 영상 데이터셋(예: Kinetics)의 스케일과 다양성을 활용하면서도, 학습된 특징에 제1인칭 특화 성질을 통합하고자 한다.
• 쌍화된 제1인칭-제3인칭 영상나열이나 추가 모달(예: 음성)이 필요 없이도 제1인칭 영상 이해 성능을 향상시키는 사전학습 프레임워크를 개발하고자 한다.
• 표준 비디오 모델이 제1인칭 작업에 대해 강력한 즉시 사용 가능한 대체재가 될 수 있도록, 사전학습 기간 동안 제1인칭 인식에 적합한 정복 손실을 통합하고자 한다.

제안 방법

• 제3인칭 영상에서 사전학습하는 동안, 제3인칭 데이터에서 유추된 비라벨링된 제1인칭 신호를 사용하여 보조 지식 정복 손실을 도입한다.
• 핵심 정복 작업은 조작된 물체 예측, 시공간적 손-물체 상호작용 영역 국소화, 일반적인 제1인칭 시점 성격 추정이다.
• 이러한 작업들은 제1인칭 애너테이션이나 쌍화된 데이터가 필요 없이 제3인칭 영상에서 유도된 자기지도 신호를 사용하여 훈련된다.
• 이 방법은 Kinetics에서 표준 행동 분류 사전학습과 함께 이러한 손실을 통합함으로써, 제1인칭 영상 특성과 일치하는 표현을 학습할 수 있도록 한다.
• 이 프레임워크는 표준 비디오 아키텍처(예: SlowFast, ResNet)와 호환되며, 제1인칭 작업에 쉽게 적용될 수 있다.
• 정복 과정은 제3인칭 데이터에서 학습된 특징가 제1인칭 특화 동역학(예: 손 집중, 제1인칭 운동 패턴)을 포착하도록 이끌어낸다.

실험 결과

연구 질문

• RQ1 제3인칭 영상 데이터에서 잠재적인 제1인칭 신호를 유추하여 제1인칭 영상 이해를 위한 사전학습을 이끌 수 있는가?
• RQ2 제1인칭 특화 성질의 지식 정복이 쌍화된 제1인칭 데이터를 사용하지 않고도 제1인칭 행동 인식 성능을 향상시킬 수 있는가?
• RQ3 제1인칭 기준 성능에서 표준 Kinetics 사전학습보다 제1인칭 인식에 적합한 정복 손실을 포함한 제3인칭 데이터 사전학습이 더 우수한 성능을 낼 수 있는가?
• RQ4 통합된 사전학습 프레임워크가 표준 비디오 모델과 호환되면서도 제1인칭 데이터셋에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• Charades-Ego에서 Ego-Exo는 표준 Kinetics 사전학습보다 +3.26 mAP 향상하여 최신 기준 성능을 달성한다.
• EPIC-Kitchens-100에서 Ego-Exo*-R101은 본문 및 미본 테스트 세트 모두에서 이전의 모든 방법들을 능가한다. 이는 음성 및 옵티컬 플로우를 사용한 방법들조차도 포함된다.
• Ego-Exo는 EPIC-Kitchens S1에서 Top-1 정확도(66.19%)와 Top-5 정확도(90.11%)를 기록하여, 음성 및 RGB 스트림을 사용하는 Epic-Fusion보다 높은 성능을 달성한다.
• 쌍화된 제1인칭-제3인칭 데이터가 필요한 도메인 적응 및 통합 임베딩 기반 베이스라인(예: ActorObserverNet, SSDA)을 포함한 방법들조차도 Ego-Exo가 뛰어난 성능을 보인다.
• SlowFast 백본을 사용한 Ego-Exo*는 Charades-Ego에서 37.04% mAP를 기록하여 가장 강력한 베이스라인보다 +3.26 mAP 높은 성능을 달성한다.
• 모델은 잘 일반화되어 있으며, EPIC-Kitchens에서 본문 및 미본 카테고리 모두에서 일관된 향상이 관찰되어 도메인 이동에 대한 강건성을 보여준다.