[논문 리뷰] Temporal Action Proposal Generation with Transformers

Lining Wang, Haosen Yang외 3명|arXiv (Cornell University)|2021. 05. 25.

Human Pose and Action Recognition참고 문헌 37인용 수 16

한 줄 요약

이 논문은 장기적인 프레임 간 의존성 모델링을 위한 경계 트랜스포머와 상호 제안 관계를 포착하기 위한 희소 샘플링을 갖춘 제안 트랜스포머를 사용하는 두 가지 전문화된 트랜스포머를 활용하여 시간적 액션 제안 생성(TAPG)을 위한 통합 프레임워크인 TAPG 트랜스포머를 제안한다. 이 방법은 ActivityNet-1.3 및 THUMOS14 벤치마크에서 최신 기술 성능(SOTA)을 달성하여 제안 품질과 국소화 정확도에서 이전 방법들을 능가한다.

ABSTRACT

Transformer networks are effective at modeling long-range contextual information and have recently demonstrated exemplary performance in the natural language processing domain. Conventionally, the temporal action proposal generation (TAPG) task is divided into two main sub-tasks: boundary prediction and proposal confidence prediction, which rely on the frame-level dependencies and proposal-level relationships separately. To capture the dependencies at different levels of granularity, this paper intuitively presents a unified temporal action proposal generation framework with original Transformers, called TAPG Transformer, which consists of a Boundary Transformer and a Proposal Transformer. Specifically, the Boundary Transformer captures long-term temporal dependencies to predict precise boundary information and the Proposal Transformer learns the rich inter-proposal relationships for reliable confidence evaluation. Extensive experiments are conducted on two popular benchmarks: ActivityNet-1.3 and THUMOS14, and the results demonstrate that TAPG Transformer outperforms state-of-the-art methods. Equipped with the existing action classifier, our method achieves remarkable performance on the temporal action localization task. Codes and models will be available.

연구 동기 및 목표

• 기존 시간적 액션 제안 생성(TAPG) 방법의 한계를 해결하기 위해, 장기적인 맥락 모델링이 부족하거나 제안 수준의 관계를 모델링하지 못하는 문제를 해결한다.
• 프레임 수준과 제안 수준의 의존성 모델링을 하나의 트랜스포머 기반 프레임워크에 통합하여 경계 예측 및 신뢰도 예측 성능을 향상시킨다.
• 밀도 있는 제안 생성 대신 희소 제안 샘플링 기반 메커니즘을 도입하여 계산 부담과 클래스 불균형 문제를 줄인다.
• 기존 액션 분류기와 통합하여 시간적 액션 국소화 성능을 향상시킨다.

제안 방법

• 경계 트랜스포머는 자기 주의 메커니즘을 사용하여 장기적인 시간적 의존성을 모델링함으로써 전체 영상 특징 시퀀스를 처리하여 정밀한 액션 경계 확률을 예측한다.
• 제안 트랜스포머는 새로운 희소 샘플링 기반 메커니즘을 통해 생성된 희소한 후보 제안 세트에서 작동하여 상호 제안 관계를 학습하여 신뢰도 예측을 수행한다.
• 퍼지 매칭 메커니즘이 예측된 경계 확률과 제안 신뢰도 점수를 정렬하여 최종 제안을 생성한다.
• 희소 샘플링 기반 메커니즘은 다양한 스트라이드(예: 5, 3, 2) 또는 피보나치 기반 간격을 사용하는 슬라이딩 윈도우를 활용하여 부정확도와 계산 비용을 줄인다.
• 기존 영상 특징를 쿼리로 사용하는 트랜스포머 디코더의 수정된 쿼리 형식은 전반적인 노이즈를 억제하고 경계 아티팩트를 부드럽게 한다.
• 다층 트랜스포머 아키텍처를 사용하며, 추론 실험 결과 최적의 성능은 3개의 스택된 레이어에서 달성된다.

실험 결과

연구 질문

• RQ1 통합된 트랜스포머 기반 프레임워크는 시간적 액션 제안 생성을 위해 프레임 수준과 제안 수준의 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 밀도 있는 제안 생성에 비해 희소 제안 샘플링은 성능과 계산 효율성 측면에서 어떻게 비교되는가?
• RQ3 트랜스포머 디코더에서 다양한 쿼리 형식이 경계 예측 정확도와 노이즈 내성에 어떤 영향을 미치는가?
• RQ4 경계 트랜스포머와 제안 트랜스포머에 최적의 성능을 달성하기 위해 몇 층의 레이어를 사용하는 것이 가장 적절한가?

주요 결과

• TAPG 트랜스포머는 ActivityNet-1.3 및 THUMOS14 모두에서 최신 기술 성능(SOTA)을 달성하여 이전 SOTA 방법보다 제안 생성의 평균 정밀도(mAP)에서 뛰어난 성능을 보였다.
• 희소 샘플링 기반 메커니즘이 제안 수를 원래의 약 7.5%로 줄이며 성능 향상까지 이끌어내어 효율성과 효과성을 동시에 입증했다.
• 트랜스포머 디코더에서 기존 영상 특징를 쿼리로 사용할 경우 최고의 성능을 달성했으며, 과도한 부드러움과 노이즈 민감도를 감소시켰다.
• 경계 트랜스포머와 제안 트랜스포머 모두 3개의 레이어를 스택할 경우 최적의 성능을 달성했으며, 더 깊은 네트워크에서는 과적합과 성능 저하가 발생했다.
• 시각화 결과는 모델이 유사한 배경과 액션 프레임이 혼재된 노이즈가 많은 또는 모호한 장면에서도 액션을 정확히 국소화함을 보여주었다.
• 다양한 액션 인스턴스가 포함된 복잡한 영상에 대해서도 잘 일반화되어 있으며, 상위-k 제안을 정확히 지정된 액션에 매칭시켰다.