[논문 리뷰] Fast Learning of Temporal Action Proposal via Dense Boundary Generator

Chuming Lin, Jian Li외 8명|arXiv (Cornell University)|2019. 11. 11.

Human Pose and Action Recognition참고 문헌 25인용 수 15

한 줄 요약

이 논문은 비정형 영상에서 빠르고 정확한 시계열 행동 제안 생성을 위한 통합 프레임워크인 밀도 있는 경계 생성기(Dense Boundary Generator, DBG)를 제안한다. 이중 스트림 특징을 활용하여 경계 분류 및 행동 인식 완전성 회귀를 수행하고, 새로운 제안 특징 생성 레이어를 통해 제안의 전역적 맥락을 포괄함으로써, ActivityNet-1.3과 THUMOS14에서 최신 기술(SOTA) 성능을 달성하며, BMN 및 MGG와 같은 기존 방법들보다 행동 검출에서 뚜렷한 mAP 향상을 이룬다.

ABSTRACT

Generating temporal action proposals remains a very challenging problem, where the main issue lies in predicting precise temporal proposal boundaries and reliable action confidence in long and untrimmed real-world videos. In this paper, we propose an efficient and unified framework to generate temporal action proposals named Dense Boundary Generator (DBG), which draws inspiration from boundary-sensitive methods and implements boundary classification and action completeness regression for densely distributed proposals. In particular, the DBG consists of two modules: Temporal boundary classification (TBC) and Action-aware completeness regression (ACR). The TBC aims to provide two temporal boundary confidence maps by low-level two-stream features, while the ACR is designed to generate an action completeness score map by high-level action-aware features. Moreover, we introduce a dual stream BaseNet (DSB) to encode RGB and optical flow information, which helps to capture discriminative boundary and actionness features. Extensive experiments on popular benchmarks ActivityNet-1.3 and THUMOS14 demonstrate the superiority of DBG over the state-of-the-art proposal generator (e.g., MGG and BMN). Our code will be made available upon publication.

연구 동기 및 목표

• 다양한 지속 시간과 복잡한 배경을 가진 장시간 비정형 영상에서 정밀한 시계열 행동 제안을 생성하는 도전 과제를 해결한다.
• 앵커 기반 방법의 경계 유연성 부족과 경계 기반 방법의 전역 맥락 부족 문제를 극복한다.
• 경계 예측 및 행동 완전성 추정을 위한 전역 제안 특징 통합을 통해 제안 품질을 향상시킨다.
• 행동성 분류를 통한 보조 지도 학습을 통해 엔드 투 엔드 학습을 가능하게 하여 완전성 회귀를 위한 특징의 구분 능력을 향상시킨다.

제안 방법

• RGB 및 옵티컬 플로우 특징을 인코딩하여 저수준의 경계 민감성 표현과 고수준의 행동 인식 표현을 모두 추출하는 이중 스트림 베이스넷(Dual Stream BaseNet, DSB)을 제안한다.
• 시퀀스 특징을 매트릭스 형태의 표현으로 변환하여 각 제안에 대한 전역 맥락을 포착하는 제안 특징 생성(PG) 레이어를 설계한다.
• 저수준의 이중 스트림 특징을 사용하여 시작 및 끝 경계에 대한 신뢰도 맵을 예측하는 시계열 경계 분류(TBC) 모듈을 구현한다.
• 고수준의 행동성 특징을 사용하여 완전성 점수 맵을 생성함으로써 제안 품질을 평가하는 행동 인식 완전성 회귀(ACR) 모듈을 도입한다.
• 소프트-NMS를 통한 후처리를 통해 세 가지 점수 맵(시작 신뢰도, 끝 신뢰도, 완전성 점수)을 융합하여 최종 제안을 생성한다.
• 다중 작업 지도 학습을 통해 네트워크를 훈련한다: DSB에 대한 행동성 분류 손실과 ACR에 대한 회귀 손실을 적용하며, TBC는 이진 교차 엔트로피를 통해 학습한다.

실험 결과

연구 질문

• RQ1 비정형 영상에서 밀도 있는 제안에 대해 통합 프레임워크가 정밀한 시계열 경계와 신뢰할 수 있는 행동 완전성 점수를 동시에 예측할 수 있는가?
• RQ2 PFG 레이어를 통해 전역 제안 특징을 통합함으로써 국소 특징 방법에 비해 경계 국소화 및 완전성 추정이 얼마나 향상되는가?
• RQ3 행동성 분류를 통한 보조 지도 학습이 행동 완전성 회귀 성능에 얼마나 기여하는가?
• RQ4 BMN 및 MGG와 같은 최신 기술 방법들과 비교했을 때, 제안된 DBG는 벤치마크 전반에서 제안 품질 및 검출 정확도 측면에서 어떻게 성능을 내는가?

주요 결과

• SCNN 분류기 사용 시, IoU 임계값 0.3에서 THUMOS14에서 mAP 45.9%를 기록하며, BMN(45.7%)과 MGG(44.9%)를 각각 0.2~1.4%p 향상시켰다.
• UntrimmedNet 분류기 사용 시, IoU 0.3에서 mAP 57.8%를 기록하며, BMN(56.0%)과 MGG(53.9%)를 각각 1.8p와 3.9p 초월했다.
• ActivityNet-1.3에서 DBG는 미리보지 않은 서브셋에서 AUC 66.57%를 기록하여 새로운 행동 카테고리로의 일반화 능력이 뛰어나다는 것을 입증했다.
• 절단 실험 결과, TBC 모듈(밀도 있는 경계 신뢰도 맵 예측)을 제거할 경우 AUC가 크게 감소하며, 특히 높은 IoU 임계값(예: 0.9)에서 두드러져 경계 정밀도 향상에 필수적임을 입증했다.
• 보조 행동성 지도 학습을 통한 ACR 모듈은 이중 스트림 특징만을 사용할 경우 대비 1.5%p의 AUC 향상을 보이며 완전성 추정 향상을 입증했다.
• 제안의 왼쪽, 중심, 오른쪽 영역에서 8/16/8로 샘플링한 PFG 레이어가 최적의 성능을 보이며, 정확한 제안 생성을 위한 전역 맥락의 필요성을 확인했다.