[논문 리뷰] Low-Fidelity End-to-End Video Encoder Pre-training for Temporal Action Localization

Mengmeng Xu, Juan-Manuel Pérez-Rúa외 3명|arXiv (Cornell University)|2021. 03. 28.

Human Pose and Action Recognition참고 문헌 66인용 수 4

한 줄 요약

이 논문은 GPU 메모리 제약 조건 하에서 비디오 인코더와 시간적 행동 로컬라이제이션(TAL) 헤드의 엔드 투 엔드 훈련을 가능하게 하는 저해상도(LoFi) 비디오 인코더 최적화 방법을 제안한다. 사전 훈련 중에 미니배치의 시간적 및 공간적 차원에서 해상도를 낮춤으로써, TAL 감독을 통해 역전파되는 기울기를 가능하게 하여 특징 표현을 크게 향상시키고, 단일 스트림 ResNet18 모델조차 이중 스트림 ResNet50 모델을 능가하는 새로운 최고 성능을 달성한다.

ABSTRACT

Temporal action localization (TAL) is a fundamental yet challenging task in video understanding. Existing TAL methods rely on pre-training a video encoder through action classification supervision. This results in a task discrepancy problem for the video encoder -- trained for action classification, but used for TAL. Intuitively, end-to-end model optimization is a good solution. However, this is not operable for TAL subject to the GPU memory constraints, due to the prohibitive computational cost in processing long untrimmed videos. In this paper, we resolve this challenge by introducing a novel low-fidelity end-to-end (LoFi) video encoder pre-training method. Instead of always using the full training configurations for TAL learning, we propose to reduce the mini-batch composition in terms of temporal, spatial or spatio-temporal resolution so that end-to-end optimization for the video encoder becomes operable under the memory conditions of a mid-range hardware budget. Crucially, this enables the gradient to flow backward through the video encoder from a TAL loss supervision, favourably solving the task discrepancy problem and providing more effective feature representations. Extensive experiments show that the proposed LoFi pre-training approach can significantly enhance the performance of existing TAL methods. Encouragingly, even with a lightweight ResNet18 based video encoder in a single RGB stream, our method surpasses two-stream ResNet50 based alternatives with expensive optical flow, often by a good margin.

연구 동기 및 목표

• 기존 TAL 방법에서 발생하는 작업 불일치 문제를 해결하기 위해, 비디오 인코더는 행동 분류를 위해 사전 훈련되지만 시간적 로컬라이제이션에 사용되는 문제를 해결한다.
• 긴 트림되지 않은 비디오로 인해 발생하는 GPU 메모리 제약 조건에도 불구하고 비디오 인코더와 TAL 헤드의 공동 최적화를 가능하게 한다.
• TAL 감독을 기반으로 한 비디오 인코더 훈련을 통해 특징 표현을 향상시키는 메모리 효율적인 방법을 개발한다.
• LoFi 최적화가 다양한 백본 아키텍처와 데이터셋에서 일관되게 성능 향상을 이끌어내는지 확인한다.
• LoFi가 표준 사전 훈련 및 자기지도 학습 방법보다 TAL에서 어떻게 우월한지 보여준다.

제안 방법

• GPU 메모리 사용량을 줄이기 위해 시간적, 공간적 또는 시공간적 차원에서 미니배치 해상도를 낮춘 저해상도(LoFi) 훈련 단계를 도입한다.
• 이 LoFi 단계 동안 TAL 감독 손실을 사용하여 비디오 인코더와 TAL 헤드를 동시에 엔드 투 엔드 최적화한다.
• 표준 훈련과 동일한 하드웨어 예산을 유지하여 중급 GPU에서도 실용적으로 적용 가능함을 보장한다.
• LoFi 최적화된 인코더를 하류 TAL 작업용 사전 훈련 백본으로 사용하여 표준 행동 분류 사전 훈련을 대체한다.
• 훈련 안정성과 기울기 흐름을 유지하기 위해 장주기 저해상도 구성(LoFi)을 적용한다.
• 다양한 비디오 인코더(ResNet18, 34, 50)와 TAL 헤드(G-TAD, BC-GNN)를 사용하여 ActivityNet-v1.3 및 HACS 벤치마크에서 방법을 평가한다.

실험 결과

연구 질문

• RQ1 GPU 메모리 제약 조건이 존재하는 상황에서도 비디오 인코더와 TAL 헤드의 엔드 투 엔드 최적화가 성능 향상에 기여하는가?
• RQ2 LoFi 훈련이 행동 분류와 시간적 행동 로컬라이제이션 간의 작업 불일치를 줄이는가?
• RQ3 적절한 LoFi 사전 훈련을 거친 경우, 경량 단일 스트림 RGB 인코더가 이중 스트림 ResNet50 모델을 능가할 수 있는가?
• RQ4 LoFi는 자기지도 학습 및 표준 행동 분류 사전 훈련 방법과 비교해 어떻게 성능을 냅니다?
• RQ5 LoFi로 얻는 성능 향상은 다양한 비디오 인코더의 깊이와 아키텍처에 걸쳐 일반화되는가?

주요 결과

• LoFi 방법은 TSM-R18를 사용하여 ActivityNet-v1.3에서 평균 mAP 34.49를 달성하여 표준 ACP 기준보다 +0.90 mAP 향상시켰다.
• 단일 RGB 스트림과 ResNet18를 사용함에도 불구하고 LoFi는 이중 스트림 ResNet50 모델을 능가하며, 작업 특화 인코더 최적화의 효과를 입증한다.
• 더 깊은 백본에서도 성능 향상이 일관되게 나타났다: TSM-R34에서는 +0.84 mAP, TSM-R50에서는 +0.70 mAP 향상이 이루어졌다.
• LoFi 사전 훈련은 Arrow of Time 및 SpeedNet 자기지도 학습 방법보다 우월했으며, 이들 방법을 표준 사전 훈련과 조합해도 근소한 성능 향상에 그쳤다.
• ACP와 자기지도 학습을 조합해도 성능 향상이 미미했으며(예: +0.16 mAP), 상호 보완적 이점이 제한적임을 시사한다.
• LoFi 방법은 LoFi 훈련 중에 비디오당 단일 순방향 전파만으로도 우수한 성능를 달성하여 계산적으로 효율적이고 실용적이다.