[논문 리뷰] BMN: Boundary-Matching Network for Temporal Action Proposal Generation

Tianwei Lin, Xiao Liu외 3명|arXiv (Cornell University)|2019. 07. 23.

Human Pose and Action Recognition참고 문헌 35인용 수 73

한 줄 요약

BMN은 경계 매칭(boundary-matching) 메커니즘을 도입하여 밀집 분포의 시간 제안에 대한 신뢰도(confidence)를 평가하고, 정확한 제안을 엔드 투 엔드로 생성하며 신뢰할 수 있는 점수를 가능하게 하여 제안 생성 및 탐지 성능을 향상시킵니다.

ABSTRACT

Temporal action proposal generation is an challenging and promising task which aims to locate temporal regions in real-world videos where action or event may occur. Current bottom-up proposal generation methods can generate proposals with precise boundary, but cannot efficiently generate adequately reliable confidence scores for retrieving proposals. To address these difficulties, we introduce the Boundary-Matching (BM) mechanism to evaluate confidence scores of densely distributed proposals, which denote a proposal as a matching pair of starting and ending boundaries and combine all densely distributed BM pairs into the BM confidence map. Based on BM mechanism, we propose an effective, efficient and end-to-end proposal generation method, named Boundary-Matching Network (BMN), which generates proposals with precise temporal boundaries as well as reliable confidence scores simultaneously. The two-branches of BMN are jointly trained in an unified framework. We conduct experiments on two challenging datasets: THUMOS-14 and ActivityNet-1.3, where BMN shows significant performance improvement with remarkable efficiency and generalizability. Further, combining with existing action classifier, BMN can achieve state-of-the-art temporal action detection performance.

연구 동기 및 목표

• 정밀한 경계와 신뢰할 수 있는 신뢰도 점수로 개선된 시간적 행동 제안 생성을 촉진한다.
• 모든 밀집 제안을 동시에 평가하기 위한 경계 매칭 메커니즘을 도입한다.
• 경계 확률과 BM 신뢰도 맵을 함께 학습하는 엔드-투-엔드 BMN 프레임워크를 개발한다.
• THUMOS-14와 ActivityNet-1.3 데이터셋에서 효율성과 효과를 증명한다.

제안 방법

• 제안을 경계 시작과 경계 끝 쌍으로 정의하고, 이러한 모든 쌍 위에 2D BM 신뢰도 맵을 구성한다.
• 시작 경계와 끝 경계 사이의 특징을 샘플링하는 BM 레이어를 제안하여 모든 제안의 맥락을 인코딩하는 BM 특징 맵을 생성한다.
• 두 가지 분기 BMN 구조를 사용한다: 시간 평가 모듈이 경계 확률 시퀀스를 출력하고, 제안 평가 모듈이 BM 신뢰도 맵을 출력한다.
• 경계에 대한 TEM 손실과 BM 신뢰도 맵에 대한 PEM 손실을 가진 통합 다중 작업 프레임워크에서 TEM과 PEM을 함께 학습한다.
• 경계 확률을 BM 신뢰도와 융합하여 최종 제안 점수를 형성하고 억제를 위해 Soft-NMS를 적용한다.

실험 결과

연구 질문

• RQ1 밀집 분포의 가변 길이 제안에 대해 경계 매칭 메커니즘이 신뢰할 수 있는 신뢰도 점수를 제공할 수 있는가?
• RQ2 엔드-투-엔드 BMN 모델이 이전의 바텀업/탑다운 방식에 비해 제안 품질과 효율성을 향상시키는가?
• RQ3 BMN은 보지 못한 행동 카테고리 및 데이터셋에 얼마나 잘 일반화되는가?
• RQ4 TEM과 PEM의 공동 학습가 제안 생성 및 탐지 성능에 미치는 영향은 무엇인가?

주요 결과

• BMN은 ActivityNet-1.3 및 THUMOS-14에서 최첨단 방법들보다 제안 생성 지표가 현저히 더 우수하다.
• 배치 연구에서 ActivityNet-1.3 검증에서 TEM+PEM으로 AUC를 67.10%로, AR@100을 75.01로 개선한다.
• BMN은 강한 일반화 가능성을 보이며 ActivityNet-1.3의 미지의 동작 부분집합에서 성능 저하가 작다.
• TEM과 PEM을 공동 학습하면 개별 학습 구성보다 더 높은 재현율과 더 빠른 추론을 얻는다.
• BMN 기반 제안과 행동 분류기를 결합하면 ActivityNet-1.3에서 최첨단 시간적 행동 탐지 성능을 얻고 THUMOS-14에서도 경쟁력 있는 결과를 보인다.