[논문 리뷰] ACM-Net: Action Context Modeling Network for Weakly-Supervised Temporal Action Localization

Sanqing Qu, Guang Chen외 4명|arXiv (Cornell University)|2021. 04. 07.

Human Pose and Action Recognition참고 문헌 53인용 수 44

한 줄 요약

ACM-Net은 비디오 수준의 감독하에 동작 인스턴스, 맥락 및 비-동작 배경을 분리하기 위해 세 가지 가지 주의(행동-맥락 주의) 메커니즘을 도입하여 THUMOS-14와 ActivityNet-1.3에서 약한 지도하 TAL의 최첨단 성능을 달성하며, 일부 완전 지도 방식과 대등한 성능을 달성합니다.

ABSTRACT

Weakly-supervised temporal action localization aims to localize action instances temporal boundary and identify the corresponding action category with only video-level labels. Traditional methods mainly focus on foreground and background frames separation with only a single attention branch and class activation sequence. However, we argue that apart from the distinctive foreground and background frames there are plenty of semantically ambiguous action context frames. It does not make sense to group those context frames to the same background class since they are semantically related to a specific action category. Consequently, it is challenging to suppress action context frames with only a single class activation sequence. To address this issue, in this paper, we propose an action-context modeling network termed ACM-Net, which integrates a three-branch attention module to measure the likelihood of each temporal point being action instance, context, or non-action background, simultaneously. Then based on the obtained three-branch attention values, we construct three-branch class activation sequences to represent the action instances, contexts, and non-action backgrounds, individually. To evaluate the effectiveness of our ACM-Net, we conduct extensive experiments on two benchmark datasets, THUMOS-14 and ActivityNet-1.3. The experiments show that our method can outperform current state-of-the-art methods, and even achieve comparable performance with fully-supervised methods. Code can be found at https://github.com/ispc-lab/ACM-Net

연구 동기 및 목표

• 의미적으로 모호한 동작-맥락 프레임의 더 나은 억제를 동작-전경 분리 그 이상으로 목표로 한다.
• CAS_ins, CAS_con, CAS_bak를 만들기 위한 세 가지 가지 분류자 없이 주의 모듈을 갖춘 ACM-Net를 제안하여 동작 인스턴스, 맥락 및 배경에 대응하는 CAS를 생성한다.
• 세 개의 분리된 CAS 가지를 활용한 MIL을 통해 비디오 수준 라벨만으로 비디오 수준 동작 분류를 최적화한다.
• 보조 손실(주의 가이드, 특징 분리, 희소 주의)을 도입하여 조각 단위의 식별력과 로컬라이제이션을 향상시킨다.
• 약한 감독하에서 THUMOS-14 및 ActivityNet-1.3에서 최첨단 또는 경쟁력 있는 성능을 보여준다.

제안 방법

• 비디오를 비중첩의 조각으로 나누고 RGB 및 Flow 특징을 F(t)로 추출한다.
• 학습 가능한 컨볼루션 기반 임베딩으로 특징을 X에 매핑한다.
• 초기 Class Activation Sequence Phi = MLP(X)을 계산한다.
• 세 가지 가지 주의 모듈을 적용하여 Softmax Conv(X)을 통해 att_ins, att_con, att_bak를 얻는다.
• CAS_ins = att_ins * CAS, CAS_con = att_con * CAS, CAS_bak = att_bak * CAS를 구성한다.
• MIL를 사용하여 상위-k 점수를 모아 p_ins, p_con, p_bak의 비디오 수준 클래스 확률을 얻고 대응하는 교차 엔트로피 손실을 계산한다.
• 손실 L_cls = L_cls_ins + L_cls_con + L_cls_bak를 보조 손실 L_gui, L_feat, L_spa와 결합하여 가이드, 특징 분리, 희소성을 확보한다.
• 추론 시 p_ins로 분류하고 CAS_ins와 att_ins를 임계값으로 국소화하며 NMS를 적용하고 Outer-Inner-Contrastive로 점수를 미세 조정한다.

실험 결과

연구 질문

• RQ1 약한 감독하에서 동작-맥락 프레임을 동작 인스턴스 및 비-동작 배경으로 효과적으로 분리할 수 있는가?
• RQ2 세 가지 가지 주의 메커니즘이 전경-배경 접근법에 비해 동작 인스턴스, 맥락 및 배경 간 구분을 개선하는가?
• RQ3 보조 손실이 조각 단위의 구분성과 전체 로컬라이제이션 성능에 어떤 영향을 미치는가?
• RQ4 표준 약한 감독 TAL 벤치마크(THUMOS-14, ActivityNet-1.3)에서 ACM-Net이 이전 방법들에 비해 어떤 성능 향상을 보이는가?

주요 결과

• THUMOS-14에서 ACM-Net은 0.1 IoU에서 68.9 mAP, 0.2 IoU에서 62.7, 0.3에서 55.0, 0.4에서 44.6, 0.5에서 34.6, 0.6에서 21.8, 0.7에서 10.8을 달성하며 이전의 약한 감독 방법들을 능가한다.
• THUMOS-14에서 ACM-Net은 Avg[0.1-0.5]가 53.2, Avg[0.3-0.7]가 33.4, 전체 Avg가 42.6이다.
• ActivityNet-1.3에서 ACM-Net은 IoU=0.50에서 40.1 mAP, IoU=0.75에서 24.2, IoU=0.95에서 6.2, Avg가 24.6이다.
• ACM-Net은 ActivityNet-1.3에서 약한 감독 TAL 최첨단 방법을 능가하고 특정 IoU 구간에서 일부 완전 감독 기법과 경쟁력 있는 성능을 보인다.
• 세 가지 가지 주의와 CAS 구성은 맥락 프레임 억제와 로컬라이제이션 정확도 향상에 효과적임을 나타내는 소거 분석이 있다.
• 정성적 시각화는 ACM-Net이 모호한 맥락과 배경으로부터 동작 인스턴스를 구분하는 능력을 보여준다.