[논문 리뷰] Time Is MattEr: Temporal Self-supervision for Video Transformers

Sukmin Yun, Jaehyung Kim외 4명|arXiv (Cornell University)|2022. 07. 19.

Human Pose and Action Recognition인용 수 8

한 줄 요약

이 논문은 TIME(Time Is MattEr)를 제안하며, 비디오 트랜스포머가 유사한 공간 상관관계에서 비롯되는 편향을 명시적으로 제거하고 시간 모델링을 향상시켜 비디오 표현 학습을 향상시키는 단순하면서도 효과적인 자기지도 학습 방법을 개발한다. 이는 보조 과제로 프레임 순서 예측과 시간 흐름 방향 예측을 도입하여 Something-Something-v2에서 성능을 크게 향상시키고, 이미지 분류에서 배경 이동에 대한 강건성도 향상시킨다.

ABSTRACT

Understanding temporal dynamics of video is an essential aspect of learning better video representations. Recently, transformer-based architectural designs have been extensively explored for video tasks due to their capability to capture long-term dependency of input sequences. However, we found that these Video Transformers are still biased to learn spatial dynamics rather than temporal ones, and debiasing the spurious correlation is critical for their performance. Based on the observations, we design simple yet effective self-supervised tasks for video models to learn temporal dynamics better. Specifically, for debiasing the spatial bias, our method learns the temporal order of video frames as extra self-supervision and enforces the randomly shuffled frames to have low-confidence outputs. Also, our method learns the temporal flow direction of video tokens among consecutive frames for enhancing the correlation toward temporal dynamics. Under various video action recognition tasks, we demonstrate the effectiveness of our method and its compatibility with state-of-the-art Video Transformers.

연구 동기 및 목표

• 비디오 트랜스포머가 시간 역학보다 공간 역학을 더 많이 학습하는 데서 비롯되는 한계를 해결하기 위해.
• 아키텍처적 혁신을 넘어서 자기지도 학습을 통한 시간 모델링이 비디오 표현 학습을 향상시킬 수 있는지 조사하기 위해.
• 혼합된 프레임에서 높은 신뢰도 예측을 방지함으로써 공간적 특징과 비디오 동작 인식 간의 유사 상관관계를 줄이기 위해.
• 연속 프레임 간 비디오 토큰의 흐름 방향을 학습함으로써 시간 모델링을 향상시키기 위해.
• 다양한 최신 비디오 트랜스포머 아키텍처에서 행동 인식 벤치마크에서 호환성과 일관된 성능 향상을 입증하기 위해.

제안 방법

• 프레임 순서 예측을 위한 프레임 수준 자기지도 과제를 도입하여, 예측된 순서에 대해 교차 엔트로피 손실을 적용한다.
• 무작위로 섞인 비디오 프레임에서 높은 신뢰도 예측을 방지하기 위한 편향 제거 목표를 구현하며, 불확실성을 유도하기 위해 KL 발산을 사용한다.
• 연속 프레임 간 흐름 방향(8개 방향 + 중심)을 예측하기 위한 토큰 수준 자기지도 과제를 제안하며, 어텐션 기반 모듈을 활용한다.
• 토큰 수준 과제의 진짜 흐름 레이블을 생성하기 위해 Gunnar Farnebäck의 광학 흐름 알고리즘을 활용한다.
• 주된 비디오 분류 목표와 함께 손실 함수를 종합적으로 적용하여 엔드 투 엔드로 학습 가능한 방식으로 구현한다.
• 배경 편향을 줄이기 위해 프레임 순서 및 편향 제거 목표를 이미지 분류에 적용함으로써, 배경 도전 벤치마크에서 강건성을 향상시킨다.

실험 결과

연구 질문

• RQ1 자기지도 학습을 통한 시간 모델링이 비디오 이해에서 공간 역학에 대한 비디오 트랜스포머의 편향을 효과적으로 줄일 수 있는가?
• RQ2 프레임 순서 학습이 비디오 표현의 일반화 및 강건성 향상에 기여하는가?
• RQ3 비디오 토큰의 흐름 방향을 예측하는 것이 장거리 시간 의존성을 포착하는 데 모델 능력을 향상시킬 수 있는가?
• RQ4 제안된 자기지도 목표가 다양한 비디오 트랜스포머 아키텍처에서 성능 향상에 어느 정도 기여하는가?
• RQ5 동일한 자기지도 원칙을 이미지 분류로 확장하여 배경 편향을 완화하는 데 적용할 수 있는가?

주요 결과

• 제안된 TIME 방법은 Something-Something-v2 벤치마크에서 최신 비디오 트랜스포머 아키텍처를 일관되게 향상시키며, 뛰어난 호환성과 성능 향상을 보였다.
• Something-Something-v2 데이터셋에서, 원본 비디오와 섞인 비디오 간의 정확도 격차가 크게 줄어들었으며, 이는 공간적 편향 감소를 시사한다.
• Only-FG 배경 이동 벤치마크에서 상위 1위 정확도가 58.91%에 도달하여, 베이스라인의 50.27%에서 크게 향상되었으며, 배경 이동에 대한 강건성이 뛰어나다는 것을 보여준다.
• 프레임 순서 예측과 편향 제거 목표는 성능 향상에 상호 보완적으로 기여하며, 병합된 손실을 통해 58.91%의 정확도를 달성했고, 순수 순서 손실만을 사용할 경우 54.15%에 그친다.
• 이 방법은 이미지 분류로 일반화되며, ImageNet-9에서 상위 1위 정확도를 77.26%에서 83.26%로 향상시키고, Only-FG 배경 이동 벤치마크에서 50.27%에서 58.91%로 향상시켰다.
• 시간 순서 예측과 배경 편향 제거 간의 상호보완적 상호작용은 여러 벤치마크에서 뚜렷하고 일관된 성능 향상을 이끌어내어, 이 방법의 강건성과 일반화 능력을 확인한다.