[논문 리뷰] EgoEnv: Human-centric environment representations from egocentric video

Tushar Nagarajan, Santhosh Kumar Ramakrishnan외 3명|arXiv (Cornell University)|2022. 07. 22.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 시뮬레이션된 영상 데이터를 사용하여 카메라 착용자 주변의 국소 3D 레이아웃을 예측하는 트랜스포머 기반 모델을 훈련시켜, 이교적 영상에서 인간 중심의 환경 표현을 학습하는 EgoEnv를 제안한다. 유일하게 시뮬레이션된 데이터로 훈련되었음에도 불구하고, EgoEnv는 실제 이교적 영상 작업에서 뚜렷한 성능 향상을 이룩했으며, Ego4D NLQ 챌린지에서 최신 기술 수준(SOTA) 성능을 달성하고, 새로운 환경에서의 객실 분류 및 언어 기반 지문 작업에서 베이스라인을 능가한다.

ABSTRACT

First-person video highlights a camera-wearer's activities in the context of their persistent environment. However, current video understanding approaches reason over visual features from short video clips that are detached from the underlying physical space and capture only what is immediately visible. To facilitate human-centric environment understanding, we present an approach that links egocentric video and the environment by learning representations that are predictive of the camera-wearer's (potentially unseen) local surroundings. We train such models using videos from agents in simulated 3D environments where the environment is fully observable, and test them on human-captured real-world videos from unseen environments. On two human-centric video tasks, we show that models equipped with our environment-aware features consistently outperform their counterparts with traditional clip features. Moreover, despite being trained exclusively on simulated videos, our approach successfully handles real-world videos from HouseTours and Ego4D, and achieves state-of-the-art results on the Ego4D NLQ challenge. Project page: https://vision.cs.utexas.edu/projects/ego-env/

연구 동기 및 목표

• 카메라 착용자의 지속적인 물리적 맥락을 모델링하여 이교적 영상에서 인간 중심의 환경 이해 부족 문제를 해결한다.
• 클립 기반 영상 모델이 시공간적 기반 없이 순간적인 시각적 외관만 포착하는 한계를 극복한다.
• 환경 인식 특징을 활용하여 인간 행동과 그 주변 물리적 환경을 함께 추론할 수 있도록 모델을 지원한다.
• 시뮬레이션된 이교적 영상으로 훈련하고, HouseTours 및 Ego4D와 같은 실제 이교적 영상 데이터셋으로 일반화함으로써 시뮬레이션에서 실제로의 격차를 해소한다.
• 기존 영상 모델에 아키텍처 수정 없이 장기적인 환경적 맥락을 통합할 수 있는 즉시 사용 가능한 특징 표현(EgoEnv)을 개발한다.

제안 방법

• 각 시간 단계에서 카메라 착용자에 대해 가시 객체 집합과 그들의 상대적 위치(앞, 왼쪽, 오른쪽, 뒤)로 국소 환경 상태를 정의한다.
• 시뮬레이션된 3D 환경(HM3D)을 탐색하는 에이전트의 영상 클립을 사용하여, 이국적 환경 상태를 예측하도록 비전 트랜스포머 인코더를 훈련시킨다.
• 시간 창(W) 동안 프레임을 샘플링하고, 맥락 인식 환경 메모리(K 프레임)를 구성하는 메모리 메커니즘을 도입하여 장기적 수준의 추론을 지원한다.
• 환경의 의미적 및 기하학적 측면을 함께 감시하기 위해 객체 검출과 거리 예측을 결합한 다중 과제 손실을 최적화한다.
• 실제 이교적 영상에 대해 훈련된 모델을 적용하기 위해 환경 맥락을 인코딩하는 EgoEnv 특징을 추출하고, 이를 표준 클립 특징과 융합하여 후속 작업에 활용한다.
• 트랜스포머 디코더의 어텐션 메커니즘을 활용하여, 비연속적이고 공간적으로 분산된 시야에 어떻게 주의를 기울여 주변 레이아웃을 재구성하는지 시각화한다.

실험 결과

연구 질문

• RQ1 유일하게 시뮬레이션된 데이터로 훈련되었음에도 불구하고, 다양한 실제 환경에서 일반화 가능한 환경 인식 표현을 이교적 영상에서 학습할 수 있는가?
• RQ2 제안된 국소 환경 상태 예측 과제는 표준 클립 수준의 특징에 비해 후속 이교적 영상 이해 성능 향상에 얼마나 효과적인가?
• RQ3 모델이 더 넓은 물리적 맥락을 추론함으로써 행동-환경 통합 이해가 필요한 작업에서 성능 향상은 어느 정도 이루어지는가?
• RQ4 창 크기, 메모리 크기, 손실 가중치와 같은 하이퍼파라미터가 실제 데이터에서 모델의 일반화 및 강건성에 미치는 영향은 어떠한가?
• RQ5 모델이 비연속적이고 공간적으로 분산된 시야에 주의를 기울여 카메라 착용자의 환경을 재구성할 수 있는가? 이는 효과적인 장거리 공간적 추론을 의미하는가?

주요 결과

• EgoEnv는 Ego4D NLQ 챌린지에서 최신 기술 수준(SOTA) 성능을 달성하며, 이전 방법들에 비해 뚜렷한 성능 향상을 보였다.
• RoomPred 작업에서 EgoEnv는 HouseTours에서 62.68%의 정확도, Ego4D에서는 51.07%의 정확도를 기록했으며, 사전 훈련된 시각적 특징을 사용한 모든 베이스라인을 능가했다.
• 모델는 시뮬레이션에서 실제 데이터로의 일반화 능력이 뛰어나, 환경 맥락이 핵심적인 어려운 예제에서 일관된 성능 향상을 보였다.
• 제거 실험 결과, 장기적 수준 추론 과제인 NLQ에서 창 크기 256과 메모리 크기 64가 최적 성능을 내는 것으로 나타났다.
• 최적의 손실 가중치(λ=0.1)는 의미적 및 기하학적 감시를 균형 있게 조절하여 객체 및 거리 예측 오류에 대한 강건성을 향상시켰다.
• 어텐션 시각화 결과, 모델이 공간적으로 분산된 비연속적 시야에 주의를 기울이는 것을 확인했으며, 이는 효과적인 환경 메모리 구축을 의미한다.