[논문 리뷰] Pyramid Region-based Slot Attention Network for Temporal Action Proposal Generation

Shuai Cheng Li, Feng Zhang외 5명|arXiv (Cornell University)|2022. 06. 21.

Human Pose and Action Recognition인용 수 4

한 줄 요약

이 논문은 새로운 PRSlot 모듈을 통해 동작 인식 표현을 학습함으로써 시간적 액션 프포지션 생성을 향상시키는 피라미드 영역 기반 슬롯 어텐션 네트워크인 PRSA-Net을 제안한다. 유사도 기반 어텐션과는 달리, PRSlot은 영역 기반 어텐션과 병렬 피라미드 전략을 사용하여 국소적 맥락을 더 효과적으로 모델링하며, THUMOS1.3에서 56.12%의 AR@100과 58.7%의 mAP@0.5를 기록하여 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

It has been found that temporal action proposal generation, which aims to discover the temporal action instances within the range of the start and end frames in the untrimmed videos, can largely benefit from proper temporal and semantic context exploitation. The latest efforts were dedicated to considering the temporal context and similarity-based semantic contexts through self-attention modules. However, they still suffer from cluttered background information and limited contextual feature learning. In this paper, we propose a novel Pyramid Region-based Slot Attention (PRSlot) module to address these issues. Instead of using the similarity computation, our PRSlot module directly learns the local relations in an encoder-decoder manner and generates the representation of a local region enhanced based on the attention over input features called extit{slot}. Specifically, upon the input snippet-level features, PRSlot module takes the target snippet as extit{query}, its surrounding region as extit{key} and then generates slot representations for each extit{query-key} slot by aggregating the local snippet context with a parallel pyramid strategy. Based on PRSlot modules, we present a novel Pyramid Region-based Slot Attention Network termed PRSA-Net to learn a unified visual representation with rich temporal and semantic context for better proposal generation. Extensive experiments are conducted on two widely adopted THUMOS14 and ActivityNet-1.3 benchmarks. Our PRSA-Net outperforms other state-of-the-art methods. In particular, we improve the AR@100 from the previous best 50.67% to 56.12% for proposal generation and raise the mAP under 0.5 tIoU from 51.9\% to 58.7\% for action detection on THUMOS14. extit{Code is available at} \url{https://github.com/handhand123/PRSA-Net}

연구 동기 및 목표

• 시간적 액션 프포지션 생성을 위한 풍부한 시간적 및 의미적 맥락을 포착하는 데 있어 기존 방법의 한계를 해결하기 위해.
• 불완전한 비디오에서 혼잡한 배경 콘텐츠에 대한 민감도를 줄여 프포지션 품질을 악화시키는 문제를 해결하기 위해.
• 쌍별 유사도 기반 어텐션보다 국소적이고 액션 관련 맥락을 더 효과적으로 모델링하여 프포지션 품질을 향상시키기 위해.
• 국소 스니펫 맥락에 집중하는 구조적이고 영역 인식 어텐션 메커니즘을 통해 특징 표현 학습을 향상시키기 위해.
• 프포지션 생성 및 후속 액션 탐지 작업 모두에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 목표 스니펫 주변의 국소 영역에 주목함으로써 객체 중심 표현을 학습하는 피라미드 영역 기반 슬롯 어텐션(PRSlot) 모듈을 제안한다.
• 인코더-디코더 아키텍처를 사용하여 직접 어텐션 점수를 추정하는 영역 기반 어텐션(RA)을 도입하여 상호작용을 국소적 공간 영역으로 제한한다.
• 다중 스케일에서 동시에 슬롯 표현을 업데이트하기 위해 병렬 피라미드 전략을 사용하여 반복적 개선을 방지하고 효율성을 향상시킨다.
• 스니펫 수준의 특징을 입력으로 받아 국소 맥락과 의미적 관련성을 모두 포함한 향상된 슬롯 표현을 생성한다.
• PRSlot 모듈을 통합된 네트워크(PRSA-Net)에 통합하여 경계 점수와 프포지션 신뢰도 점수를 엔드 투 엔드로 생성한다.
• 두 단계 프레임워크를 적용하여 먼저 프포지션을 생성하고, 외부 또는 프포지션 수준의 분류기를 사용하여 이를 분류한다.

실험 결과

연구 질문

• RQ1 영역 기반 어텐션 메커니즘이 시간적 액션 프포지션 생성을 위한 국소 맥락 모델링에서 유사도 기반 어텐션을 능가할 수 있는가?
• RQ2 다중 스케일, 병렬 피라미드 슬롯 업데이트 방식은 순차적 또는 단일 스케일 방법에 비해 특징 표현 학습을 어떻게 향상시키는가?
• RQ3 PRSA-Net은 불완전한 비디오에서 배경 혼잡성의 영향을 얼마나 줄이고 프포지션 품질을 향상시킬 수 있는가?
• RQ4 제안된 PRSlot 모듈은 프포지션 생성과 후속 액션 탐지 모두에서 뚜렷한 성능 향상을 이끌 수 있는가?
• RQ5 PRSA-Net은 THUMOS14와 ActivityNet-1.3와 같은 다양한 IoU 임계값과 벤치마크에서 어떻게 성능을 발휘하는가?

주요 결과

• THUMOS1.3에서 PRSA-Net은 56.12%의 AR@100을 기록하여 이전 최신 기술 수준(SOTA)인 50.67%에서 향상되었다.
• THUMOS1.3에서 Unet 분류기를 사용할 경우 액션 탐지의 mAP@0.5는 45.4%에서 55.0%로 상승했고, P-GCN 프포지션 수준 분류기를 사용할 경우 58.7%에 도달했다.
• ActivityNet-1.3에서 PRSA-Net은 52.37%의 mAP@0.5를 기록하여 이전 SOTA 방법들보다 뚜렷한 격차로 앞서며 성능을 뛰어넘었다.
• 절단 실험 결과, {4,8} 영역을 가진 다중 스케일 피라미드 전략이 정확도와 모델 복잡도의 균형을 고려할 때 최적의 성능을 내는 것으로 확인되었다.
• PRSlot 모듈에서 두 번의 반복이 최적의 성능을 내며, 세 번의 반복에서는 성능 저하가 관찰되었다.
• 정성적 결과에서는 복잡한 배경과 다중 겹치는 액션을 포함한 비디오에서도 PRSA-Net이 액션 경계를 성공적으로 탐지하는 것으로 나타났다.