[논문 리뷰] ACSNet: Action-Context Separation Network for Weakly Supervised Temporal Action Localization

Ziyi Liu, Le Wang외 5명|arXiv (Cornell University)|2021. 03. 28.

Human Pose and Action Recognition참고 문헌 35인용 수 8

한 줄 요약

이 논문은 약한 감독 시 temporal action localization(WS-TAL)에서 액션과 컨텍스트를 잠재적 구성요소 모델링을 통해 명시적으로 분리하는 새로운 이중 브랜치 네트워크인 ACSNet을 제안한다. 보조 컨텍스트 카테고리와 이중 브랜치 어텐션(전경-배경 및 액션-컨텍스트)을 도입함으로써, THUMOS14, ActivityNet v1.2, v1.3에서 최신 기준 성능(SOTA)을 달성하며, 경계 정밀도와 제안 신뢰도 향상으로 인해 이전 방법들보다 뚜렷이 뛰어난 성능을 발휘한다.

ABSTRACT

The object of Weakly-supervised Temporal Action Localization (WS-TAL) is to localize all action instances in an untrimmed video with only video-level supervision. Due to the lack of frame-level annotations during training, current WS-TAL methods rely on attention mechanisms to localize the foreground snippets or frames that contribute to the video-level classification task. This strategy frequently confuse context with the actual action, in the localization result. Separating action and context is a core problem for precise WS-TAL, but it is very challenging and has been largely ignored in the literature. In this paper, we introduce an Action-Context Separation Network (ACSNet) that explicitly takes into account context for accurate action localization. It consists of two branches (i.e., the Foreground-Background branch and the Action-Context branch). The Foreground- Background branch first distinguishes foreground from background within the entire video while the Action-Context branch further separates the foreground as action and context. We associate video snippets with two latent components (i.e., a positive component and a negative component), and their different combinations can effectively characterize foreground, action and context. Furthermore, we introduce extended labels with auxiliary context categories to facilitate the learning of action-context separation. Experiments on THUMOS14 and ActivityNet v1.2/v1.3 datasets demonstrate the ACSNet outperforms existing state-of-the-art WS-TAL methods by a large margin.

연구 동기 및 목표

• 액션과 컨텍스트가 동시에 존재하는 스플릿이 발생하고 자주 액션으로 잘못 분류되는 약한 감독 시 temporal action localization(WS-TAL)에서의 핵심 과제인 액션-컨텍스트 혼동 문제를 해결한다.
• 기존 어텐션 기반 방법이 전경-배경만 구분하는 데에 그치며, 액션-컨텍스트 분리에 대한 명시적 지도나 제약 조건이 부족한 문제를 해결한다.
• 프레임 수준의 애너테이션 없이도 비디오 수준의 레이블을 활용해 액션과 컨텍스트의 분리된 표현을 학습할 수 있는 방법을 개발한다.
• 명시적인 액션-컨텍스트 분리로 더 정밀한 제안과 더 신뢰도 높은 신뢰도 점수를 생성함으로써 temporal action localization 정확도를 향상시킨다.

제안 방법

• 이중 브랜치 아키텍처를 도입: 전경-배경(FB) 브랜치는 초보적 전경/배경 구분을 담당하고, 액션-컨텍스트(AC) 브랜치는 전경을 액션과 컨텍스트로 추가로 분리한다.
• 각 비디오 스플릿을 양성 및 부정성 잠재 구성요소의 조합으로 모델링하며, 서로 다른 구성이 전경, 액션 또는 컨텍스트를 나타낸다.
• 액션-컨텍스트 분리에 대한 간접 지도를 제공하기 위해 보조 컨텍스트 카테고리가 포함된 확장된 비디오 수준 레이블을 사용하여, 명시적 지도의 부족을 보완한다.
• FB 브랜치에서 스플릿 수준의 분류 예측(SCR)과 스플릿 수준의 어텐션 예측(SAP)을 적용하여 비디오 수준 분류를 지지하는 주목할 만한 스플릿을 식별한다.
• AC 브랜치의 출력을 활용해 이중 스트림 융합 기반 메커니즘을 통해 시간적 액션 제안을 개선하고 제안의 신뢰도 점수를 향상시킨다.
• 정확한 액션 로컬라이제이션을 장려하면서도 강력한 비디오 수준 분류 성능 유지를 목표로 다중 태스크 손실을 사용해 네트워크를 훈련시킨다.

실험 결과

연구 질문

• RQ1 비디오 수준의 지도만 존재하는 상황에서 명시적인 액션-컨텍스트 분리가 약한 감독 시 temporal action localization의 정확도 향상에 기여할 수 있는가?
• RQ2 보조 컨텍스트 카테고리가 어떻게 효과적으로 훈련 과정에 통합되어 어텐션 메커니즘이 액션과 컨텍스트를 구분하도록 이끌 수 있는가?
• RQ3 액션과 컨텍스트를 분리함으로써 공존하는 컨텍스트 스플릿으로 인한 가짜 양성 결과(false positives)는 어느 정도 감소하는가?
• RQ4 잠재적 구성요소 모델링을 활용한 이중 브랜치 아키텍처가 전경-배경 어텐션 기반 표준 방법에 비해 경계 정밀도와 제안 품질 측면에서 뛰어나게 성능을 높일 수 있는가?
• RQ5 이 방법은 프레임 수준의 애너테이션 없이도 다양한 데이터셋과 액션 카테고리에 일반화 가능한가?

주요 결과

• THUMOS14 테스트 세트에서 ACSNet은 IoU=0.5일 때 평균 정밀도(mAP) 32.0%를 달성하였으며, ${\widehat{\boldsymbol{\varphi}}_{a}}$와 ${\widehat{\boldsymbol{\Psi}}}$를 모두 사용할 경우 기준 모델 대비 성능 향상 100%를 기록하였다.
• 제안 평가에서 AC 브랜치 기여도는 mAP 향상의 44.5%를 차지하며, 제안 생성 과정에서 33.3%, $P_2$, $P_3$, $S_2$ 제거 실험을 통한 $P_2$ 분석에서 22.2% 기여를 하였다.
• ActivityNet v1.3에서 ACSNet은 최신 기준 성능(SOTA)을 달성하였으며, 이전 SOTA 방법들에 비해 크게 앞서며 일반화 능력을 입증하였다.
• 제거 실험 결과, FB 브랜치의 제안을 제거하고 ${\widehat{\boldsymbol{\varphi}}_{a}}$와 ${\mathbb{\widehat{\boldsymbol{\Psi}}}}$에만 의존할 경우 최고의 성능를 기록하여, FB 브랜치 출력이 오해의 소지가 있음을 시사한다.
• 컨텍스트로 인한 가짜 양성 결과가 크게 감소하였으며, THUMOS14에서 IoU=0.7일 때 $\mathbb{S}_{c}$(컨텍스트) 점수는 0.2로 낮게 유지되었고, $\mathbb{S}_{a}$(액션) 점수는 높은 수준을 유지하였다.
• 최근의 완전한 감독 기반 TAL 방법들과 비교해도 경쟁 가능한 성능를 기록하며, 약한 감독 조건에서도 명시적 액션-컨텍스트 분리의 효과성을 입증하였다.