[논문 리뷰] Action Unit Memory Network for Weakly Supervised Temporal Action Localization

Wang Luo, Tianzhu Zhang외 5명|arXiv (Cornell University)|2021. 04. 29.

Human Pose and Action Recognition참고 문헌 56인용 수 7

한 줄 요약

이 논문은 행동 단위 메모리 네트워크(AUMN)를 제안하며, 시각-모티프 템플릿의 학습 가능한 메모리 백을 통해 행동 단위를 모델링하는 새로운 약한 감독 기반 시간적 행동 로컬라이제이션 프레임워크이다. 교차 어텐션을 통한 세그먼트-분류기 정렬과 자기어텐션을 통한 맥락 보정을 결합하고, 다양성, 균일성, 희소성 메커니즘을 적용함으로써 AUMN는 최신 기준 성능을 달성하여, IoU 임계값 0.1–0.5 범위에서 THUMOS14의 평균 mAP를 47.0%에서 52.1%로 향상시켰다.

ABSTRACT

Weakly supervised temporal action localization aims to detect and localize actions in untrimmed videos with only video-level labels during training. However, without frame-level annotations, it is challenging to achieve localization completeness and relieve background interference. In this paper, we present an Action Unit Memory Network (AUMN) for weakly supervised temporal action localization, which can mitigate the above two challenges by learning an action unit memory bank. In the proposed AUMN, two attention modules are designed to update the memory bank adaptively and learn action units specific classifiers. Furthermore, three effective mechanisms (diversity, homogeneity and sparsity) are designed to guide the updating of the memory network. To the best of our knowledge, this is the first work to explicitly model the action units with a memory network. Extensive experimental results on two standard benchmarks (THUMOS14 and ActivityNet) demonstrate that our AUMN performs favorably against state-of-the-art methods. Specifically, the average mAP of IoU thresholds from 0.1 to 0.5 on the THUMOS14 dataset is significantly improved from 47.0% to 52.1%.

연구 동기 및 목표

• 영상 수준의 레이블만을 사용하는 약한 감독 기반 시간적 행동 로컬라이제이션(TAL)에서 로컬라이제이션 완전성과 배경 간섭 문제를 해결하기 위해.
• 행동 클래스 간에 공유되는 재사용 가능한 시각-모티프 패턴인 행동 단위를 학습 가능한 템플릿 메모리 백을 통해 명시적으로 모델링하기 위해.
• 메모리 템플릿 학습 시 다양성, 균일성, 희소성 원칙을 적용하여 로컬라이제이션의 견고성을 향상시키기 위해.
• 시간적 맥락 모델링과 클래스 특화 어텐션을 이중 어텐션 기반 구조로 통합하여 특징 정제를 향상시키기 위해.
• 프레임 수준의 레이블 없이도 표준 벤치마크에서 최신 기준 성능을 달성하기 위해.

제안 방법

• 메모리 백은 '달리기' 또는 '점프하기'와 같은 행동 간에 공유되는 시각적 및 운동 패턴을 나타내는 학습된 행동 단위 템플릿을 저장한다.
• 교차 어텐션 모듈은 세그먼트-템플릿 유사도를 계산하여 각 영상 세그먼트에 대해 동적으로 행동 분류기를 할당한다.
• 자기어텐션 모듈은 세그먼트 간 시간적 맥락을 집계하여 더 매끄럽고 완전한 클래스 활성화 시퀀스(CAS)를 생성한다.
• 메모리 백은 다양성(L_d), 균일성(L_h), 희소성(L_s)의 세 가지 보조 손실 구성 요소를 사용하여 적응적으로 업데이트되며, 이는 고유하고 컴act하며 희소한 템플릿을 강제한다.
• 모델은 프로젝션 헤드를 통해 템플릿을 행동 클래스 공간으로 매핑하는 MLP 헤드를 사용하여 영상 수준의 레이블만으로 엔드 투 엔드로 훈련된다.
• 세그먼트 수준의 예측은 템플릿 유사도와 어텐션 점수의 가중 융합을 통해 생성되며, 이는 로컬라이제이션과 메모리 학습의 동시 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습 가능한 행동 단위 템플릿 메모리 백은 약한 감독 기반 TAL에서 로컬라이제이션 완전성을 향상시킬 수 있는가?
• RQ2 영상 수준의 감독만으로도 행동 단위—공유되는 시각-모티프 패턴—를 효과적으로 모델링하고 구분할 수 있는가?
• RQ3 다양성, 균일성, 희소성 메커니즘이 메모리 백 품질과 로컬라이제이션 성능에 어느 정도 기여하는가?
• RQ4 자기어텐션을 통한 맥락 집계 통합이 더 매끄럽고 완전한 클래스 활성화 시퀀스를 만들어내는가?
• RQ5 제안된 AUMN 프레임워크는 THUMOS14 및 ActivityNet과 같은 표준 벤치마크에서 기존 최신 기준 방법들을 초월할 수 있는가?

주요 결과

• AUMN 프레임워크는 IoU 임계값 0.1–0.5 범위에서 THUMOS14 데이터셋에서 평균 mAP 52.1%라는 새로운 최신 기준 성능을 달성하였으며, 이는 이전의 47.0%보다 뚜렷한 향상이다.
• 자기어텐션 모듈은 모든 IoU 임계값에서 성능 향상을 일관되게 보였으며, 특히 높은 임계값(0.4–0.6)에서 가장 큰 성과를 보여, 로컬라이제이션 완전성 향상이 확인되었다.
• 제거 실험 결과 다양성, 균일성, 희소성 메커니즘을 모두 조합할 경우 IoU = 0.5에서 mAP가 3% 향상되었으며, 개별 메커니즘보다 뛰어난 성능을 보였다.
• 템플릿 수(K)는 성능에 긍정적인 영향을 미치며, THUMOS14에서 최적의 성능은 K = 7일 때 도달되었으며, 이는 행동 단위의 충분한 커버리지가 이루어졌음을 시사한다.
• 정성적 분석 결과, 서로 다른 템플릿들이 서로 다른 시각적 패턴에 주목함을 확인하였으며, 예를 들어 '달리기', '점프하기', '던지기' 등으로 분류가 정확하고 구분력 있게 이루어졌다.
• 시각화 결과, 자기어텐션 모듈이 덜 구분력 있지만 관련성이 있는 세그먼트의 신뢰도 점수를 향상시켜 빠짐없이 탐지하고 로컬라이제이션 완전성을 향상시켰다.