[논문 리뷰] Learning Salient Boundary Feature for Anchor-free Temporal Action Localization

Chuming Lin, Chengming Xu외 7명|arXiv (Cornell University)|2021. 03. 24.

Human Pose and Action Recognition참고 문헌 40인용 수 18

한 줄 요약

이 논문은 경계 정렬을 향상시키기 위해 색소 기반 경계 풀링 모듈과 경계 일致성 학습(Boundary Consistency Learning, BCL)을 갖춘 순수하게 앵커 기반의 시간 행동 로컬라이제이션 프레임워크인 AFSD를 제안한다. 영역 수준의 특징 대신 순간 수준의 특징에 초점을 맞추어, THUMOS14에서 기존 방법 대비 3.7% 향상된 mAP@0.5 성능을 달성하면서도, 더 적은 제안과 감소된 초파rameter 튜닝으로 인해 더 효율적이다.

ABSTRACT

Temporal action localization is an important yet challenging task in video understanding. Typically, such a task aims at inferring both the action category and localization of the start and end frame for each action instance in a long, untrimmed video.While most current models achieve good results by using pre-defined anchors and numerous actionness, such methods could be bothered with both large number of outputs and heavy tuning of locations and sizes corresponding to different anchors. Instead, anchor-free methods is lighter, getting rid of redundant hyper-parameters, but gains few attention. In this paper, we propose the first purely anchor-free temporal localization method, which is both efficient and effective. Our model includes (i) an end-to-end trainable basic predictor, (ii) a saliency-based refinement module to gather more valuable boundary features for each proposal with a novel boundary pooling, and (iii) several consistency constraints to make sure our model can find the accurate boundary given arbitrary proposals. Extensive experiments show that our method beats all anchor-based and actionness-guided methods with a remarkable margin on THUMOS14, achieving state-of-the-art results, and comparable ones on ActivityNet v1.3. Code is available at https://github.com/TencentYoutuResearch/ActionDetection-AFSD.

연구 동기 및 목표

• 앵커 기반 및 액션니스 가이드된 시간 행동 로컬라이제이션 방법의 비효율성과 초파rameter 민감성 문제를 해결하기 위해.
• 과도한 제안을 줄이고 사전 정의된 앵커를 제거하는 순수하게 앵커 기반의 프레임워크를 개발하기 위해.
• 영역 수준의 맥락 특징 대신 주목할 만한 순간 수준의 특징에 초점을 맞춰 경계 정밀도를 향상시키기 위해.
• 프레임 수준 및 FPN 수준의 특징을 일관성 제약 조건을 갖춘 방식으로 조합하여 경계 개선 메커니즘을 설계하기 위해.
• 단계별로 분리된 두 단계 모델을 피하기 위해 분류와 경계 회귀를 동시에 최적화하는 종단간(end-to-end) 학습을 달성하기 위해.

제안 방법

• 모델은 종단간 학습이 가능한 백본과 특징 피라미드 네트워크(FPN), 그리고 각 위치에서 액션 클래스와 시간 오프셋을 출력하는 단순한 예측 헤드를 사용한다.
• 기존의 영역 수준 풀링을 대체하기 위해 시작 및 끝 영역에서 가장 주목할 만한 순간 수준 특징을 추출하는 새로운 경계 풀링 모듈을 제안한다.
• 경계 일치성 학습(Boundary Consistency Learning, BCL)은 수정된 진짜 지도 신호와 자기지도 기반 대비 학습을 사용하여 예측된 경계 신호와 진짜 지도 신호 간의 일관성을 강제한다.
• 개선 모듈은 1D 컨볼루션을 통해 프레임 수준 특징과 FPN 특징을 조합하며, 일관성 손실을 통해 강력한 특징 학습을 보장한다.
• 모델은 액션니스 손실(ℓₐcₜ), 트리플릿 손실(ℓₜᵣᵢₚ), 일관성 손실(ℓcₒₙ) 등 여러 손실 항목을 함께 사용하여 경계 검출 성능을 향상시킨다.
• 이 프레임워크는 완전히 앵커 생성을 배제하여, 각 시간 위치에서 하나의 제안을 생성하며, 이는 액션의 시작과 끝에 대한 오프셋 쌍으로 구성된다.

Figure 1: Compared with actionness and anchor-based methods, anchor-free method is more efficient and flexible to produce fewer proposals without any extra classifier and pre-defined anchors.

실험 결과

연구 질문

• RQ1 앵커 기반 및 액션니스 가이드된 방법보다 정확도와 효율성 면에서 뛰어난 성능을 내는 앵커 기반의 시간 행동 로컬라이제이션 모델을 설계할 수 있는가?
• RQ2 순간 수준의 주목할 만한 특징은 영역 수준의 맥락 특징에 비해 경계 정렬을 어떻게 향상시킬 수 있는가?
• RQ3 비앵커 기반의 제안 메커니즘을 사용할 때 일관성 학습이 경계 특징을 개선하는 데 어떤 역할을 하는가?
• RQ4 단일 종단간 학습 가능한 모델이 단계별로 분리된 두 단계 모델을 피하면서 분류와 경계 회귀를 동시에 최적화할 수 있는가?
• RQ5 제안된 경계 풀링은 평균, 컨볼루션, 스택 기반 풀링과 비교해 특징 품질과 정렬 정확도 면에서 어떤가?

주요 결과

• THUMOS14에서 제안된 AFSD 모델은 기존 최고 성능 방법 대비 3.7% 향상된 mAP@0.5 성능을 달성하여 뚜렷한 성능 향상을 입증한다.
• ActivityNet v1.3에서도 유사한 성능을 달성하여, THUMOS14에서 최적화된 모델이 다양한 데이터셋에 일반화됨을 보여준다.
• 최댓값 연산을 사용한 경계 풀링은 평균, 컨볼루션, 스택 기반 구현 대비 평균 mAP에서 각각 0.8%, 0.9%, 0.6% 향상된 성능을 기록한다.
• 모든 일관성 손실 항목(ℓₐcₜ, ℓₜᵣᵢₚ, ℓcₒₙ)을 포함한 전체 모델이 최고의 성능을 달성하며, 각 손실 항목이 mAP에 0.7% 향상 기여한다.
• 더 적은 제안과 경량화된 개선 모듈 덕분에 AFSD의 추론 속도는 기존 방법보다 뚜렷이 빠르며, 표본 fps 결과는 표 3에 상세히 기재되어 있다.
• 제거 분석 결과, 프레임 수준 특징만 사용할 경우 mAP가 1.1% 저하됨을 확인하여, FPN 특징과의 보완적 역할을 확인할 수 있다.

Figure 2: An action instance of cliff diving. Note that the start and end moments of the movement are more salient than others, which can bring us significant information to judge the boundary and completeness of the action.