[논문 리뷰] Adaptive Perception Transformer for Temporal Action Localization

Yizheng Ouyang, Tianjin Zhang외 2명|arXiv (Cornell University)|2022. 08. 25.

Human Pose and Action Recognition인용 수 5

한 줄 요약

이 논문은 앵커나 프포지션 없이, 전역 장거리 상관관계와 국소적 내·외프레임 컨텍스트를 전역 인지 주의 및 이중 방향 컨volution 알리아스를 통해 모델링하는 이중 브랜치 시간 인식 주의(TAA) 메커니즘을 사용하는 엔드 투 엔드 시간 행동 로컬라이제이션 프레임워크인 AdaPerFormer을 제안한다. 이로 인해 THUMOS14에서 59.3%의 SOTA mAP, ActivityNet-1.3에서 35.1%의 mAP를 달성한다.

ABSTRACT

Temporal action localization aims to predict the boundary and category of each action instance in untrimmed long videos. Most of previous methods based on anchors or proposals neglect the global-local context interaction in entire video sequences. Besides, their multi-stage designs cannot generate action boundaries and categories straightforwardly. To address the above issues, this paper proposes a end-to-end model, called Adaptive Perception transformer (AdaPerFormer for short). Specifically, AdaPerFormer explores a dual-branch attention mechanism. One branch takes care of the global perception attention, which can model entire video sequences and aggregate global relevant contexts. While the other branch concentrates on the local convolutional shift to aggregate intra-frame and inter-frame information through our bidirectional shift operation. The end-to-end nature produces the boundaries and categories of video actions without extra steps. Extensive experiments together with ablation studies are provided to reveal the effectiveness of our design. Our method obtains competitive performance on the THUMOS14 and ActivityNet-1.3 dataset.

연구 동기 및 목표

• 앵커나 프포지션 기반 방법의 한계를 해결하기 위해, 히우리스틱 설계, 낮은 경계 정밀도, 분할된 컨텍스트 모델링 문제를 해결하고자 한다.
• 비미분 가능한 후처리 단계에 의존하지 않고 액션 경계와 카테고리의 엔드 투 엔드 예측을 가능하게 하고자 한다.
• 가벼운 효율적인 주의 메커니즘을 사용하여, 트림되지 않은 비디오에서 전역 장거리 상관관계와 국소 시간 연속성을 모두 모델링하고자 한다.
• 표준 자기 주의의 높은 계산 비용과 시간 순서 모델링의 열악함을 극복하기 위해 이중 브랜치 주의 설계를 도입하고자 한다.

제안 방법

• 이중 브랜치 시간 인식 주의(TAA) 메커니즘을 제안: 하나의 브랜치는 전체 비디오 시퀀스에 걸쳐 장거리 상관관계를 모델링하기 위해 희소 창 기반 자기 주의를 사용하는 전역 인지 주의를 구현한다.
• 국소 컨volution 알리아스 브랜치를 도입하여 시간 및 채널 차원을 따라 이중 방향 이동 연산을 적용함으로써 내프레임 및 외프레임 국소 컨텍스트를 캡처한다.
• 두 TAA 브랜치의 학습 가능한 가중 융합을 적용하여, 각 레이어에서 전역 및 국소 표현 간의 적응적 균형을 가능하게 한다.
• 앵커나 프포지션 없이 단순한 인코더-디코더 아키텍처를 사용하여, 액션 경계와 카테고리의 직접적인 엔드 투 엔드 예측을 가능하게 한다.
• 계산 비용을 줄이기 위해 고정된 창 크기(예: 5, 7)를 사용한 창 기반 전역 주의를 적용함으로써 전역 컨텍스트를 유지하면서도, 조밀한 주의의 높은 비용을 피한다.
• 양방향 이동 연산을 통해 인접한 프레임과 채널을 오가는 특징 흐름을 가능하게 하여 국소 특징 집합을 향상시킨다.

실험 결과

연구 질문

• RQ1 이중 브랜치 주의 메커니즘은 트림되지 않은 비디오에서 시간 행동 로컬라이제이션을 위해 전역 장거리 상관관계와 국소 시간 연속성을 효과적으로 모델링할 수 있는가?
• RQ2 앵커 기반 또는 프포지션 기반 설계를 엔드 투 엔드 프레임워크로 대체할 경우 정확도와 경계 정밀도가 향상되는가?
• RQ3 희소 전역 주의와 국소 컨볼루션 알리아스의 조합이 표준 자기 주의에 비해 성능과 효율성 면에서 뛰어나게 되는가?
• RQ4 제안된 TAA 메커니즘의 최적 창 크기, 이동 크기, 주의 가중치 설정은 무엇인가?

주요 결과

• AdaPerFormer은 THUMOS14 데이터셋에서 평균 평균 정밀도(mAP) 59.3%를 달성하여, 앵커나 프포지션 기반 이전 SOTA 방법을 초월한다.
• ActivityNet-1.3 데이터셋에서 AdaPerFormer은 mAP 35.1%를 기록하여 기존 방법들과 경쟁 가능한 성능을 보였다.
• 제거 분석 결과 이중 브랜치 설계가 성능 향상에 크게 기여하며, 국소 컨볼루션 알리아스 브랜치가 전역 인지 브랜치보다 더 큰 기여를 한다.
• 전역 인지 주의의 최적 창 크기는 5이며, 이때 mAP는 59.3%에 도달한다. 더 큰 창 크기(예: 7 또는 11)는 성능을 약간 떨어뜨린다.
• 인코더와 디코더 양쪽에서 이중 방향 이동 연산을 적용할 경우 최고의 성능(59.1% mAP)을 기록하며, 단방향 또는 이동 없음 설정보다 우수하다.
• 두 TAA 브랜치를 향한 학습 가능한 주의 가중치가 합이 1이 되도록 설정할 경우 최고의 성능(59.3% mAP)을 달성하며, 고정 또는 대칭 가중치는 정확도를 떨어뜨린다.