[논문 리뷰] Unsupervised Pre-training for Temporal Action Localization Tasks

Can Zhang, Tianyu Yang외 4명|arXiv (Cornell University)|2022. 03. 25.

Human Pose and Action Recognition인용 수 5

한 줄 요약

이 논문은 시간 행동 지역화(TAL)에 특화된 비지도 사전 훈련을 위한 새로운 자기지도 사전 과제인 가짜 행동 지역화(PAL)를 제안한다. 임의로 시간 영역을 자르고 다른 배경 비디오에 붙여넣음으로써 가짜 행동으로 간주하는 방식으로, PAL은 대비 학습을 통해 시간 동치성(time-equivariance)을 강제함으로써 기존의 비지도 및 지도 사전 훈련 방법보다 훨씬 뛰어난 최종 TAL 성능을 달성한다.

ABSTRACT

Unsupervised video representation learning has made remarkable achievements in recent years. However, most existing methods are designed and optimized for video classification. These pre-trained models can be sub-optimal for temporal localization tasks due to the inherent discrepancy between video-level classification and clip-level localization. To bridge this gap, we make the first attempt to propose a self-supervised pretext task, coined as Pseudo Action Localization (PAL) to Unsupervisedly Pre-train feature encoders for Temporal Action Localization tasks (UP-TAL). Specifically, we first randomly select temporal regions, each of which contains multiple clips, from one video as pseudo actions and then paste them onto different temporal positions of the other two videos. The pretext task is to align the features of pasted pseudo action regions from two synthetic videos and maximize the agreement between them. Compared to the existing unsupervised video representation learning approaches, our PAL adapts better to downstream TAL tasks by introducing a temporal equivariant contrastive learning paradigm in a temporally dense and scale-aware manner. Extensive experiments show that PAL can utilize large-scale unlabeled video data to significantly boost the performance of existing TAL methods. Our codes and models will be made publicly available at https://github.com/zhang-can/UP-TAL.

연구 동기 및 목표

• 시간 행동 지역화(TAL)의 요구사항에 더 잘 부합하는 사전 훈련 방법을 설계하여 행동 분류(TAC)와 TAL 간의 성능 격차를 해소하기 위해.
• 기존의 비지도 비디오 표현 학습이 비디오 수준의 인스턴스 식별에 집중하고, 지역화에 필요한 시간 동치성을 포착하지 못하는 한계를 극복하기 위해.
• 실제 TAL 작업에서 나타나는 시간 경계 검출 및 스케일/속도 변동을 모방하는 사전 과제를 도입하여 대규모 레이블이 없는 비디오 데이터를 TAL에 효과적으로 활용할 수 있도록 하기 위해.
• 배경 간섭을 최소화하면서도 구분 가능한 행동 부분에 초점을 맞춤으로써 특징의 강건성과 경계 인식 능력을 향상시키는 사전 훈련 프레임워크를 개발하기 위해.

제안 방법

• 변동하는 시간 길이와 스케일을 가진 비디오에서 연속적인 클립 여러 개를 무작위로 자르는 방식으로 가짜 행동 영역을 구성한다.
• 이 가짜 행동들을 다른 배경 비디오의 서로 다른 시간 위치에 붙여서 합성된 훈련 쌍을 생성한다.
• 동일한 가짜 행동에 대한 특징을 두 개의 합성 비디오 간에 일치시키는 시간 동치성 대비 학습 목표를 적용하여 시간 변환에 대한 일관성을 강제한다.
• 클립 수준의 특징를 처리하기 위해 다층 시간 컨volution 네트워크를 사용하여 맥락 인식 능력을 향상시키고 지역화에 적합한 특징 표현을 가능하게 한다.
• 두 합성 비디오에서 붙인 가짜 행동 영역의 특징 간 일치를 최대화하여 배경에 영향을 받지 않는 구분 가능한 행동 성분에 집중하도록 유도한다.
• 시간 이동과 스케일 동치성을 강조하는 사전 과제를 설계하여 행동 시작 시간과 지속 시간의 변화에 특징가 적응하도록 보장한다.

실험 결과

연구 질문

• RQ1 비디오 수준의 분류를 넘어서 시간 행동 지역화(TAL)의 요구사항에 더 잘 부합하는 자기지도 사전 과제를 설계할 수 있는가?
• RQ2 기본적인 인스턴스 식별과 비교해 대비 학습 프레임워크를 통해 시간 동치성을 강제하면 지역화 작업의 특징 품질이 향상되는가?
• RQ3 제안된 가짜 행동 지역화(PAL) 사전 과제는 ActivityNet과 THUMOS와 같은 최종 TAL 벤치마크에서 미세조정되었을 때 어떻게 성능을 내는가?
• RQ4 PAL은 소규모 데이터셋에 대해 얼마나 잘 일반화되며, 행동 분류와 같은 다른 비디오 이해 작업으로까지 전이 가능한가?
• RQ5 학습된 특징들이 시간 동치성 행동을 보일 수 있는가, 즉 행동의 시간 변환이 특징 공간에 반영되는가?

주요 결과

• ActivityNet v1.3에서 PAL은 MoCo-v2 기준으로 mAP@AVG를 2.2% 향상시키고, TAC 사전 훈련 기준으로는 1.2% 향상시켰다.
• 더 작은 규모의 THUMOS’14 데이터셋에서는 mAP@0.7에서 상대적 성능 향상이 10.9%에 달했으며, 저자료 환경에서도 강력한 일반화 능력을 보였다.
• UCF101과 HMDB51에서 행동 분류의 상위-1 정확도에서 PAL은 SOTA인 MoCo-v2 기준으로 각각 +2.7%와 +3.1% 향상시켰다.
• 특징 시각화 결과 PAL이 시간 동치성 특징을 학습하는 것으로 확인되었으며, 시간 변환에 따라 행동 클립 간 유사도가 예측 가능하게 변화하는 반면, 시간 불변 기반 기준 모델과는 다름을 확인했다.
• 이 방법은 경계 인식 능력을 향상시키고 행동 클립과 배경 클립 간 대비를 강화하여 더 날카롭고 정보량이 많은 특징 표현을 만들어 냈다.
• 제안된 방법은 TAL을 넘어서도 잘 일반화되며 행동 분류 작업에서 경쟁적인 성능을 보이며, 학습된 표현의 광범위한 전이 가능성(transferability)을 입증했다.