[논문 리뷰] Temporal Context Aggregation Network for Temporal Action Proposal Refinement

Zhiwu Qing, Haisheng Su외 8명|arXiv (Cornell University)|2021. 03. 24.

Human Pose and Action Recognition참고 문헌 43인용 수 13

한 줄 요약

이 논문은 시간적 행동 제안을 보다 정교하게 하기 위해 국소적이고 전역적인 시간적 의존성을 동시에 모델링하는 국소-전역 시간 인코더(LGTE)를 활용하고, 시간 경계 회귀기(TBR)를 통해 보완적이고 점진적인 경계 정밀 조정을 수행하는 새로운 프레임워크인 시간적 맥락 집약 네트워크(TCANet)를 제안한다. TCANet는 HACS, ActivityNet-v1.3, THUMOS-14에서 최고 성능을 기록하며 CVPR 2020 HACS 챌린지에서 1등을 차지했다.

ABSTRACT

Temporal action proposal generation aims to estimate temporal intervals of actions in untrimmed videos, which is a challenging yet important task in the video understanding field. The proposals generated by current methods still suffer from inaccurate temporal boundaries and inferior confidence used for retrieval owing to the lack of efficient temporal modeling and effective boundary context utilization. In this paper, we propose Temporal Context Aggregation Network (TCANet) to generate high-quality action proposals through "local and global" temporal context aggregation and complementary as well as progressive boundary refinement. Specifically, we first design a Local-Global Temporal Encoder (LGTE), which adopts the channel grouping strategy to efficiently encode both "local and global" temporal inter-dependencies. Furthermore, both the boundary and internal context of proposals are adopted for frame-level and segment-level boundary regressions, respectively. Temporal Boundary Regressor (TBR) is designed to combine these two regression granularities in an end-to-end fashion, which achieves the precise boundaries and reliable confidence of proposals through progressive refinement. Extensive experiments are conducted on three challenging datasets: HACS, ActivityNet-v1.3, and THUMOS-14, where TCANet can generate proposals with high precision and recall. By combining with the existing action classifier, TCANet can obtain remarkable temporal action detection performance compared with other methods. Not surprisingly, the proposed TCANet won the 1$^{st}$ place in the CVPR 2020 - HACS challenge leaderboard on temporal action localization task.

연구 동기 및 목표

• 기존 시간적 행동 제안 생성 방법이 장거리 시간적 의존성을 모델링하는 데에 한계를 보이고 있으며, 제안 경계를 정확히 정밀 조정하는 데에 어려움을 겪는 문제를 해결하기 위해.
• 내부 맥락(신뢰도를 위한)과 경계 맥락(정밀도를 위한)을 효과적으로 활용하여 제안 품질을 향상시키기 위해.
• 프레임 수준 및 세그먼트 수준에서 모두 보완적이고 점진적인 경계 정밀 조정을 가능하게 하는 통합형 엔드 투 엔드 프레임워크를 설계하기 위해.
• 특히 짧은 지속 시간 동안의 행동에 대해 높은 재현율과 정밀도를 확보하면서도 추론 효율성을 유지하기 위해.

제안 방법

• 국소-전역 시간 인코더(LGTE)는 입력 특징을 채널 그룹으로 분할한다: 국소 그룹은 1D 컨볼루션을 사용해 단기 의존성을 모델링하고, 전역 그룹은 전역 풀링을 사용해 장거리 맥락을 포착한다.
• LGTE는 이러한 그룹을 동시에 처리하고 융합함으로써 국소 세부 정보와 전역 구조를 모두 유지하여 경계 인식 능력을 향상시키고 노이즈를 감소시킨다.
• 시간 경계 회귀기(TBR)는 이중 단계의 정밀 조정을 수행한다: 프레임 수준 회귀는 경계 민감한 특징을 사용해 시작/종료 타임스탬프를 정밀 조정하고, 세그먼트 수준 회귀는 전체 제안 맥락을 사용해 중심과 지속 시간을 정밀 조정한다.
• TBR는 양쪽 회귀를 엔드 투 엔드 방식으로 통합하여 보다 높은 품질의 제안을 위한 점진적이고 보완적인 경계 정밀 조정을 가능하게 한다.
• 이 프레임워크는 모듈러 구조를 갖추고 있어 기존의 이단계 행동 탐지 파이프라인에 쉽게 통합될 수 있다.
• TCANet는 프레임 수준 및 세그먼트 수준의 회귀 목표를 통합한 다중 작업 손실을 사용해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 국소적이고 전역적인 시간적 의존성을 동시에 모델링하면 시간적 행동 제안의 품질이 향상되는가?
• RQ2 프레임 수준의 경계 회귀와 세그먼트 수준의 맥락 회귀를 결합하면 더 정밀하고 신뢰도가 높은 제안이 되는가?
• RQ3 채널 그룹 기반 인코더 아키텍처는 국소 세부 정보 유지와 전역 맥락 인식 간에 효과적으로 균형을 이룰 수 있는가?
• RQ4 제안된 방법은 최고 수준의 기준 대비 제안 품질과 탐지 성능 측면에서 어떻게 비교되는가?
• RQ5 장시간의 정제되지 않은 비디오에서 제안된 프레임워크의 효율성과 확장성은 어떠한가?

주요 결과

• TCANet는 HACS 데이터셋에서 55.60%의 최고 mAP를 기록하여 모든 기준 모델을 압도하고 CVPR 2020 HACS 챌린지에서 1등을 차지했다.
• ActivityNet-v1.3에서 TCANet는 IoU=0.5일 때 평균 평균 정밀도(mAP) 55.60%를 달성하여 다양한 벤치마크에 걸쳐 강력한 일반화 능력을 보였다.
• 적은 수의 제안에서도 평균 재현율(AR)이 크게 향상되어, 낮은 제안 수에서도 고품질의 제안을 생성함을 시사했다.
• 제거 분석 결과, 네 개의 LGTE 블록을 사용할 경우 성능이 최고로 향상되었지만, 대부분의 실험에서는 두 개의 블록으로도 충분한 성능을 확보했다.
• TCANet는 9분 분량의 비디오에 대해 2000개의 제안을 처리할 때 뿐만 아니라 20.9ms의 빠른 추론 속도를 기록했으며, 이는 BMN가 소요하는 시간의 10%에 불과하여 높은 효율성을 입증했다.
• 시각화 결과, GTE만 사용할 경우에 비해 LGTE가 더 매끄럽고 정확한 경계 확률 시퀀스를 생성함을 확인하여 노이즈를 감소시키고 정밀도를 향상시켰다.