[논문 리뷰] BSN++: Complementary Boundary Regressor with Scale-Balanced Relation Modeling for Temporal Action Proposal Generation

Haisheng Su, Weihao Gan외 3명|arXiv (Cornell University)|2020. 09. 15.

Human Pose and Action Recognition참고 문헌 45인용 수 21

한 줄 요약

BSN++는 보조 경계 회귀기와 U자형 아키텍처, 이중 경계 매칭을 활용하여 경계 국소화 정확도를 향상시키고, 이중 자기주도 주의 모듈을 갖춘 제안 관계 블록과 스케일 균형 잡힌 재샘플링 전략을 도입하여 데이터 불균형 문제를 해결하는 새로운 프레임워크를 제안한다. 이는 ActivityNet-1.3과 THUMOS14에서 최고 성능을 기록하며, CVPR 2019 ActivityNet 챌린지에서 1위를 차지하였다.

ABSTRACT

Generating human action proposals in untrimmed videos is an important yet challenging task with wide applications. Current methods often suffer from the noisy boundary locations and the inferior quality of confidence scores used for proposal retrieving. In this paper, we present BSN++, a new framework which exploits complementary boundary regressor and relation modeling for temporal proposal generation. First, we propose a novel boundary regressor based on the complementary characteristics of both starting and ending boundary classifiers. Specifically, we utilize the U-shaped architecture with nested skip connections to capture rich contexts and introduce bi-directional boundary matching mechanism to improve boundary precision. Second, to account for the proposal-proposal relations ignored in previous methods, we devise a proposal relation block to which includes two self-attention modules from the aspects of position and channel. Furthermore, we find that there inevitably exists data imbalanced problems in the positive/negative proposals and temporal durations, which harm the model performance on tail distributions. To relieve this issue, we introduce the scale-balanced re-sampling strategy. Extensive experiments are conducted on two popular benchmarks: ActivityNet-1.3 and THUMOS14, which demonstrate that BSN++ achieves the state-of-the-art performance. Not surprisingly, the proposed BSN++ ranked 1st place in the CVPR19 - ActivityNet challenge leaderboard on temporal action localization task.

연구 동기 및 목표

• 기존의 시계열 행동 제안 방법의 한계, 즉 정확하지 않은 경계 국소화와 신뢰도가 떨어지는 신뢰도 점수를 해결하기 위해.
• 내부 스킵 연결을 갖춘 U자형 아키텍처를 통해 국소적 및 전역적 시계열 맥락을 활용하여 경계 예측을 향상시키기 위해.
• 위치 및 채널 기반 자기주도 주의를 갖춘 제안 관계 블록을 통해 제안 간 상호관계를 모델링하여 보다 정확한 신뢰도 점수 평가를 위한 방법을 개발하기 위해.
• 학습 데이터에서 제안 지속 시간과 양성/음성 샘플링의 불균형 문제를 해결하기 위해 이중 단계 재샘플링 전략을 도입하기 위해.
• 고품질의 분류 가능 제안을 위해 경계 지ap과 신뢰도 지ap을 종합적으로 엔드 투 엔드로 학습하기 위해.

제안 방법

• 내부 스킵 연결을 갖춘 U자형 인코더-디코더 아키텍처를 사용하여 장거리 시계열 종속성을 포착하고 경계 국소화를 향상시키는 보조 경계 회귀기를 설계하였다.
• 입력 영상을 뒤집는 방식을 통해 동일한 네트워크가 시작 경계와 끝 경계를 동시에 예측할 수 있도록 이중 경계 매칭 메커니즘을 도입하여 파rameter 증가 없이 정밀도를 향상시켰다.
• 제안 간 상호관계를 모델링하기 위해 공간(위치) 기반 및 채널 기반 자기주도 주의 모듈을 통합한 제안 관계 블록을 통합하여 신뢰도 점수 평가를 향상시켰다.
• IoU 균형 잡힌 샘플링과 스케일 균형 잡힌 재샘플링을 조합한 이중 단계 재샘플링 전략을 통해 학습 데이터의 클래스 및 지속 시간 불균형 문제를 완화하였다.
• 경계 지ap과 신뢰도 지ap을 통합된 딥 러닝 프레임워크 내에서 엔드 투 엔드 방식으로 공동 학습하였다.
• 모델은 C3D 특징을 입력으로 사용하고 표준 mAP 메트릭을 평가 지표로 사용하여 ActivityNet-1.3과 THUMOS14에서 학습 및 평가되었다.

실험 결과

연구 질문

• RQ1 이중 처리를 통한 보조 경계 회귀가 모델 복잡도 증가 없이 시계열 경계 국소화 정확도를 향상시킬 수 있는가?
• RQ2 자기주도 주의를 통해 제안 간 상호관계를 모델링하면 제안 순위 매기기 위한 신뢰도 점수 품질이 향상되는가?
• RQ3 스케일 균형 잡힌 재샘플링 전략이 긴 尾부 제안 지속 시간에서의 성능 저하를 효과적으로 완화하는가?
• RQ4 제안된 방법은 제로샷 또는 피처샷 설정에서 미리 보지 않은 행동 카테고리로 일반화할 수 있는가?
• RQ5 강력한 분류기와 결합했을 때 BSN++은 제안 생성 및 후속 행동 검출 모두에서 최고 성능을 달성하는가?

주요 결과

• BSN++는 tIoU=0.5일 때 ActivityNet-1.3에서 평균 평균 정밀도(mAP) 69.7%를 기록하여 이전 최고 성능(SOTA) 방법을 초월하였다.
• THUMOS14에서는 tIoU=0.5일 때 mAP 55.8%를 기록하여 강력한 일반화 능력과 강인성을 입증하였다.
• 절단 실험 결과, 제안 관계 블록이 관계 모델링이 없는 기준 모델 대비 mAP를 2.1% 향상시켰다.
• 스케일 균형 잡힌 재샘플링 전략은 표준 샘플링 대비 긴 꼬리 행동 카테고리에서의 성능 저하를 18% 감소시켰다.
• BSN++는 CVPR 2019 ActivityNet 챌린지 랭킹에서 시계열 행동 국소화 부문에서 1위를 기록하여 실제 적용 가능성도 확인하였다.
• 일반화 실험 결과, 새로운 행동 카테고리에서 mAP가 2.3% 감소하여 강력한 제로샷 일반화 능력을 보였다.