[논문 리뷰] CBR-Net: Cascade Boundary Refinement Network for Action Detection: Submission to ActivityNet Challenge 2020 (Task 1)

Xiang Wang, Baiteng Ma외 5명|arXiv (Cornell University)|2020. 06. 13.

Human Pose and Action Recognition참고 문헌 6인용 수 7

한 줄 요약

이 논문은 시간 행동 검출을 위한 계단식 경계 보정 네트워크인 CBR-Net을 제안한다. 이는 다단계 보정 모듈을 통해 제안 경계를 보정하여 제안 정확도를 향상시킨다. 여러 백본(TSN, I3D, Slowfast)을 조합하고 BMN을 베이스라인으로 활용하며 앙상블 전략을 적용함으로써, ActivityNet v1.3에서 42.788% mAP를 달성하여 ActivityNet 챌린지 2020년도 Task 1에서 1위를 기록했다.

ABSTRACT

In this report, we present our solution for the task of temporal action localization (detection) (task 1) in ActivityNet Challenge 2020. The purpose of this task is to temporally localize intervals where actions of interest occur and predict the action categories in a long untrimmed video. Our solution mainly includes three components: 1) feature encoding: we apply three kinds of backbones, including TSN [7], Slowfast[3] and I3d[1], which are both pretrained on Kinetics dataset[2]. Applying these models, we can extract snippet-level video representations; 2) proposal generation: we choose BMN [5] as our baseline, base on which we design a Cascade Boundary Refinement Network (CBR-Net) to conduct proposal detection. The CBR-Net mainly contains two modules: temporal feature encoding, which applies BiLSTM to encode long-term temporal information; CBR module, which targets to refine the proposal precision under different parameter settings; 3) action localization: In this stage, we combine the video-level classification results obtained by the fine tuning networks to predict the category of each proposal. Moreover, we also apply to different ensemble strategies to improve the performance of the designed solution, by which we achieve 42.788% on the testing set of ActivityNet v1.3 dataset in terms of mean Average Precision metrics.

연구 동기 및 목표

• 비트림 영상에서 시간 행동 국소화 정확도를 향상시키기 위해 제안 경계를 보정하는 것.
• BMN와 같은 기존 방법에서 고정된 경계 해상도 한계를 해결하기 위해 계단식 보정 메커니즘을 도입하는 것.
• 다중 백본 특징 추출 및 모델 앙상블 전략을 활용하여 검출 성능을 향상시키는 것.
• 시간 행동 검출 분야에서 최신 기술 성능을 달성하는 것 — ActivityNet 챌린지 2020년도에서

제안 방법

• 15 FPS 영상 클립에 대해 TSN, I3D, Slowfast의 세 가지 사전 학습된 백본을 사용하여 스니펫 수준의 특징을 추출한다.
• 제안 생성을 위해 BMN을 베이스라인으로 사용하며, 새로운 계단식 경계 보정(CBR) 모듈을 도입하여 다단계 방식으로 제안 경계를 보정한다.
• CBR 모듈은 시작 및 종료 경계를 점진적으로 보정하기 위해 회귀 헤드의 계단식 조합을 적용하여 정밀도를 향상시킨다.
• BiLSTM 기반의 시간 특징 인코딩 모듈이 영상 세그먼트 간 장거리 종속성을 포착한다.
• 최적화된 네트워크로부터의 영상 수준 분류 점수를 융합하여 각 제안에 대한 행동 카테고리를 예측한다.
• 앙상블 전략을 통해 CBR-Net, BSN, BMN의 예측을 융합하여 테스트 세트 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 계단식 경계 보정 메커니즘은 고정 해상도 방법인 BMN을 초월해 행동 국소화 제안의 정밀도를 향상시킬 수 있는가?
• RQ2 다중 백본 특징 융합은 시간 행동 검출 성능 향상에 얼마나 효과적인가?
• RQ3 모델 앙상블 전략은 ActivityNet 챌린지 2020년도 설정에서 mAP 향상에 얼마나 기여하는가?
• RQ4 시간 인코딩에 BiLSTM을 통합하면 행동 검출에서 장거리 특징 표현을 향상시킬 수 있는가?

주요 결과

• CBR-Net는 검증 세트에서 38.0% mAP를 달성하여 원래의 BMN 베이스라인보다 2.65%p 높은 성능을 기록했다.
• CBR-Net, BSN, BMN의 앙상블은 테스트 세트에서 42.788% mAP를 달성하여 ActivityNet 챌린지 2020년도 Task 1에서 1위를 기록했다.
• 제안된 CBR 모듈은 계산 비용을 크게 증가시키지 않으면서도 제안 경계를 효과적으로 보정하여 정밀도를 향상시켰다.
• 다양한 아키텍처 간의 상호보완성을 입증하기 위해 다중 특징 융합 및 모델 앙상블 전략이 검출 성능 향상에 크게 기여했다.
• 재학습 시 동일한 특징 추출 및 훈련 기술을 적용한 결과, BSN 및 BMN 베이스라인의 mAP가 각각 2.77%와 2.65% 향상되어 강력한 일반화 능력을 보였다.