[논문 리뷰] BSN: Boundary Sensitive Network for Temporal Action Proposal Generation

Tianwei Lin, Xu Zhao외 3명|arXiv (Cornell University)|2018. 06. 08.

Human Pose and Action Recognition참고 문헌 40인용 수 95

한 줄 요약

BSN은 각 위치에서 정확한 시간 경계와 actionness를 먼저 감지하는 로컬-투-글로벌 프레임워크를 도입한 뒤, 경계를 제안으로 결합하고 제안 수준의 특징으로 평가하여 제안 수가 적어도 높은 재현율과 정밀도를 달성합니다.

ABSTRACT

Temporal action proposal generation is an important yet challenging problem, since temporal proposals with rich action content are indispensable for analysing real-world videos with long duration and high proportion irrelevant content. This problem requires methods not only generating proposals with precise temporal boundaries, but also retrieving proposals to cover truth action instances with high recall and high overlap using relatively fewer proposals. To address these difficulties, we introduce an effective proposal generation method, named Boundary-Sensitive Network (BSN), which adopts "local to global" fashion. Locally, BSN first locates temporal boundaries with high probabilities, then directly combines these boundaries as proposals. Globally, with Boundary-Sensitive Proposal feature, BSN retrieves proposals by evaluating the confidence of whether a proposal contains an action within its region. We conduct experiments on two challenging datasets: ActivityNet-1.3 and THUMOS14, where BSN outperforms other state-of-the-art temporal action proposal generation methods with high recall and high temporal precision. Finally, further experiments demonstrate that by combining existing action classifiers, our method significantly improves the state-of-the-art temporal action detection performance.

연구 동기 및 목표

• 롱 디스턴스의 미 trimmed 비디오에서 고품질의 시간적 제안 생성을 도전으로 하는 문제 해결.
• 정확한 제안을 생성하기 위한 경계 인식 로컬-투-글로벌 접근법 개발, 유연한 지속 시간을 갖는 제안.
• 적은 후보 개수로도 높은 중복도와 함께 제안의 신뢰도 평가를 제공하여 제안 수준의 신뢰도 평가.
• 분류기와 통합 시 제안 품질 및 다운스트림의 시간적 행동 탐지 향상을 입증

제안 방법

• Three-stage BSN architecture: temporal evaluation to produce start, end, and actionness probabilities; proposal generation by combining high-probability boundaries; and proposal evaluation using Boundary-Sensitive Proposal (BSP) features.
• Use a three-layer temporal convolutional network to output p_s (start), p_e (end), and p_a (actionness) per temporal location.
• Generate candidate proposals by pairing high p_s and p_e locations within duration bounds, then construct BSP feature by sampling p_a within center, start, and end regions.
• Evaluate each candidate with a multilayer perceptron using BSP as input to yield p_conf, and fuse p_conf with boundary probabilities for final score p_f.
• Train TEM with a three-task loss on actionness, start, and end; train PEM with IoU-based targets to regress p_conf to gIoU; apply Soft-NMS during inference to suppress redundancies.
• Output final proposals as (t_s, t_e, p_f) with optional p_s and p_e included for analysis.

실험 결과

연구 질문

• RQ1 경계 중심의 로컬-투-글로벌 프레임워크가 이전 방법들보다 더 적은 제안 수에서 더 높은 재현율의 시간 제안을 생성할 수 있는가?
• RQ2 경계 확률 신호(start/end)와 actionness를 결합하면 제안의 시간 경계 정밀도가 향상되는가?
• RQ3 제안 수준의 BSP 특징이 기존 분류기와 통합될 때 신뢰할 수 있는 검색과 더 높은 품질의 시간적 행동 탐지를 가능하게 하는가?

주요 결과

• BSN은 ActivityNet-1.3 검증에서 AR@AN 및 AUC가 여러 최첨단 제안 방법들보다 높게 나타났다.
• THUMOS14에서 BSN+Greedy-NMS 및 BSN+Soft-NMS는 다수의 AN 구성에서 기존 방법들을 능가하며, 특히 제안 수가 작을 때(예: AR@50–@1000) 상당한 이점을 보인다.
• BSN은 ActivityNet-1.3에서 보지 못한 동작 클래스에 대한 일반화가 강하게 나타나며, 보이는 클래스에 비해 약간의 성능 저하만으로도 일반화가 가능하다.
• 절차적 분석에서 TEM은 단독으로도 효과적이며 PEM이 상당한 이점을 제공하고, BSP 구성 요소는 상호 보완적 개선에 기여한다.
• BSN 제안을 행동 분류기와 결합하면 ActivityNet-1.3 및 THUMOS14에서 시간적 행동 탐지 성능이 경쟁력 있거나 우수하게 나타난다.