[논문 리뷰] Fine-grained Temporal Contrastive Learning for Weakly-supervised Temporal Action Localization

Junyu Gao, Mengyuan Chen외 1명|arXiv (Cornell University)|2022. 03. 31.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 미세한 시간적 대비 학습(Fine-grained Temporal Contrastive Learning, FTCL)을 제안하며, 이는 프레임별 애너테이션이 없는 상황에서도 동작을 정확하게 국소화할 수 있도록 도와주는 새로운 프레임워크이다. 이 프레임워크는 미분 가능한 동적 프로그래밍을 활용하여 비디오 시퀀스 간의 미세한 시간적 차이를 학습한다. 두 가지 상호보완적인 대비 목표인 미세한 시퀀스 거리(Fine-grained Sequence Distance, FSD)와 최장 공통 부분수열(Longest Common Subsequence, LCS) 대비를 도입함으로써, 행동과 배경 간의 분리 능력을 향상시키고 분류와 국소화 간의 작업 갭을 줄이며, THUMOS14 및 ActivityNet-1.2 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We target at the task of weakly-supervised action localization (WSAL), where only video-level action labels are available during model training. Despite the recent progress, existing methods mainly embrace a localization-by-classification paradigm and overlook the fruitful fine-grained temporal distinctions between video sequences, thus suffering from severe ambiguity in classification learning and classification-to-localization adaption. This paper argues that learning by contextually comparing sequence-to-sequence distinctions offers an essential inductive bias in WSAL and helps identify coherent action instances. Specifically, under a differentiable dynamic programming formulation, two complementary contrastive objectives are designed, including Fine-grained Sequence Distance (FSD) contrasting and Longest Common Subsequence (LCS) contrasting, where the first one considers the relations of various action/background proposals by using match, insert, and delete operators and the second one mines the longest common subsequences between two videos. Both contrasting modules can enhance each other and jointly enjoy the merits of discriminative action-background separation and alleviated task gap between classification and localization. Extensive experiments show that our method achieves state-of-the-art performance on two popular benchmarks. Our code is available at https://github.com/MengyuanChen21/CVPR2022-FTCL.

연구 동기 및 목표

• 프레임별 애너테이션이 부족하여 발생하는 약한 감독 하의 시간적 행동 국소화(WSAL)에서의 심각한 모호성 문제를 해결하기 위해.
• 행동-배경 간의 분류 능력을 향상시키고 비디오 수준의 분류와 시간적 국소화 간의 작업 갭을 줄이기 위해.
• 비디오 간의 미세한 시간적 차이를 표현하는 인덕티브 바이어스로 활용하여 더 나은 표현 학습을 유도하기 위해.
• 기존 WSAL 방법에 영향을 주지 않으면서 추론 비용을 증가시키지 않는 모델에 종속되지 않고, 침습적이지 않은 대비 학습 프레임워크를 설계하기 위해.

제안 방법

• 시간적 시퀀스 관계의 엔드 투 엔드 학습을 가능하게 하기 위해, 미분 가능한 동적 프로그래밍을 제안한다.
• 매칭, 삽입, 삭제 연산을 사용하여 스크립트 수준의 관계를 모델링하는 미세한 시퀀스 거리(FSD) 대비를 도입한다.
• 두 비디오 간의 최장 공통 시간적 부분구조를 탐색하는 최장 공통 부분수열(LCS) 대비를 설계한다.
• FSD와 LCS 목표를 결합하여 행동-배경 간의 분리 능력 향상과 분류에서 국소화로의 전이 성능 향상을 공동 최적화한다.
• 정렬되거나 잘린 비디오가 필요 없이 비디오의 구조적 관계를 활용하는 대비 학습 전략을 적용한다.
• 추가적인 추론 비용 없이 기존 WSAL 프레임워크에 플러그인 컴포넌트로 통합한다.

실험 결과

연구 질문

• RQ1 비디오 시퀀스 간의 미세한 시간적 차이가 약한 감독 하의 행동 국소화에 효과적인 인덕티브 바이어스가 될 수 있는가?
• RQ2 약한 감독 환경에서 행동-배경 간의 관계와 행동-행동 간의 시간적 관계를 효과적으로 모델링할 수 있는가?
• RQ3 정렬되거나 잘린 비디오가 없이도 미분 가능한 동적 프로그래밍을 사용해 시퀀스 간 관계를 학습할 수 있는가?
• RQ4 FSD와 LCS 대비를 함께 사용하면 개별 목표보다 행동-배경 분리 능력과 국소화 정확도가 향상되는가?
• RQ5 제안된 대비 학습 프레임워크는 기존 WSAL 모델을 보편적으로 향상시킬 수 있는가?

주요 결과

• FTCL는 모든 IoU 임계치에서 평균 평균 정밀도(mAP@t-IoU)가 43.6%로, THUMOS14에서 최신 기술 수준(SOTA) 성능을 달성한다.
• ActivityNet-1.2에서 제안된 방법은 mAP@t-IoU가 43.6%로 기존 SOTA 방법들을 능가한다.
• 절단 실험을 통해 FSD 및 LCS 대비가 효과적이고 상호보완적임을 확인하였으며, 전체 모델이 각각의 구성 요소를 제거한 변형보다 성능이 뛰어나다.
• FSD 및 LCS를 표준 미분 가능한 DTW로 대체할 경우 성능이 열 劣화되며, 제안된 대비 목표의 우수성을 입증한다.
• STPN, W-TALC, CoLA와 같은 세 가지 강력한 백본 모델을 각각 최대 +1.9%의 mAP 향상으로 향상시켜 일반화 능력과 상호보완성을 입증한다.
• 이 프레임워크는 모델에 종속되지 않으며 추론 시 추가 컴퓨팅 비용이 발생하지 않아 실세계 적용에 실용적이다.