[논문 리뷰] Action Spotting using Dense Detection Anchors Revisited: Submission to the SoccerNet Challenge 2022

João V. B. Soares, Avijit Shah|arXiv (Cornell University)|2022. 06. 15.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

이 논문은 SoccerNet Challenge 2022 Action Spotting 트랙에서 1등을 차지한 제출물로, 밀도 높은 검출 앵커 방법을 개선하여 시간적 리샘플링, ResNet 및 조합 특징의 후기 융합, 수정된 Soft-NMS 후처리 전략을 도입함으로써 최신 기술 수준의 성능을 달성하였다. 이 방법은 도전 대회 테스트 세트에서 67.8의 타이트 mAP로 정밀한 평가 기준에서 이전 방법들보다 뚜렷이 뛰어난 성능을 보였다.

ABSTRACT

This brief technical report describes our submission to the Action Spotting SoccerNet Challenge 2022. The challenge was part of the CVPR 2022 ActivityNet Workshop. Our submission was based on a recently proposed method which focuses on increasing temporal precision via a densely sampled set of detection anchors. Due to its emphasis on temporal precision, this approach had shown significant improvements in the tight average-mAP metric. Tight average-mAP was used as the evaluation criterion for the challenge, and is defined using small temporal evaluation tolerances, thus being more sensitive to small temporal errors. In order to further improve results, here we introduce small changes in the pre- and post-processing steps, and also combine different input feature types via late fusion. These changes brought improvements that helped us achieve the first place in the challenge and also led to a new state-of-the-art on SoccerNet's test set when using the dataset's standard experimental protocol. This report briefly reviews the action spotting method based on dense detection anchors, then focuses on the modifications introduced for the challenge. We also describe the experimental protocols and training procedures we used, and finally present our results.

연구 동기 및 목표

• 스포츠 비디오의 액션 스폿팅에서 시간 정밀도를 향상시키고, 특히 타이트 평가 허용 오차 조건 하에서의 성능을 개선한다.
• 기존 특징 세트의 낮은 특징 주파수(1초당 1회)로 인해 작은 시간 허용 오차 조건에서 정확한 검출이 어려운 문제를 해결한다.
• 다른 특징 유형(조합 및 ResNet)의 후기 융합 및 최적화된 후처리를 통해 성능을 향상시킨다.
• 표준 평가 프로토콜 하에서 SoccerNet 테스트 세트에서 최신 기술 수준의 성능을 달성한다.
• 타이트 평균-mAP 최적화를 위한 리샘플링 및 Soft-NMS의 효과를 입증한다.

제안 방법

• 1D U-Net 백본을 사용하여 1초당 1~2개의 앵커를 밀도 있게 배치함으로써 액션 검출의 고시간 정밀도를 확보한다.
• 각 앵커는 검출 신뢰도와 세밀한 시간 이동량을 예측하며, 이는 예측된 액션 시작 시간으로 신뢰도를 이동시킨다.
• 타이트 평균-mAP 평가 기준의 0.5초 간격 허용 오차와 일치시키기 위해 선형 보간을 사용해 특징을 1초당 2회로 리샘플링한다.
• 후기 융합은 검증 데이터에서 최적의 가중치를 찾은 후, 리샘플된 조합 특징과 ResNet 특징을 기반으로 학습된 모델의 로짓을 가중 평균하여 통합한다.
• 간소화된 Soft-NMS 후처리 방법을 적용하였으며, 중복 검출 간 시간 거리에 기반한 감쇠 함수를 사용해 낮은 신뢰도 예측을 억제한다.
• 최종 검출 세트는 검증 세트에서 타이트 평균-mAP 최적화를 위해 8초 윈도우 크기로 Soft-NMS를 적용한 후 도출된다.

실험 결과

연구 질문

• RQ1 1초당 1회에서 2회로 특징을 시간적으로 리샘플링하면 타이트 평균-mAP 평가 조건 하에서 검출 정밀도가 향상되는가?
• RQ2 조합 및 ResNet 특징 유형의 후기 융합이 액션 스폿팅 성능 향상에 기여하는가?
• RQ3 더 작은 윈도우 크기를 가진 수정된 Soft-NMS 전략이 표준 NMS보다 타이트 평균-mAP를 향상시키는가?
• RQ4 리샘플링, 후기 융합, 최적화된 Soft-NMS의 조합이 SoccerNet 테스트 세트에서 최신 기술 수준의 성능을 달성하는가?
• RQ5 특징 리샘플링 및 후기 융합으로 얻는 성능 향상은 다양한 평가 프로토콜에 대해 안정적인가?

주요 결과

• 조합 특징을 1초당 1회에서 2회로 리샘플링함으로써 평가 지표의 0.5초 간격 허용 오차와 더 잘 일치시켜 타이트 평균-mAP를 60.7에서 62.6으로 향상시켰다.
• 표준 NMS의 20초 윈도우 크기에서 8초 윈도우 크기로 Soft-NMS를 변경함으로써 타이트 평균-mAP가 소폭이지만 일관되게 향상되었다.
• 리샘플된 조합 특징과 ResNet 특징의 후기 융합이 최고의 도전 결과를 달성하였으며, 타이트 평균-mAP 67.8과 표준 평균-mAP 78.0을 기록하였다.
• ResNet 특징을 추가함으로써 동일한 리샘플된 조합 특징을 기반으로 학습된 두 모델의 앙상블보다 더 큰 성능 향상을 얻었으며, 이는 특징 간 상호보완성의 증거였다.
• 최종 방법은 SoccerNet 테스트 세트에서 최신 기술 수준을 수립하였으며, 표준 프로토콜 하에서는 65.1의 타이트 평균-mAP, 도전 프로토콜 하에서는 67.8의 타이트 평균-mAP를 달성하였다.
• 리샘플링 및 Soft-NMS 최적화가 타이트 평균-mAP에 매우 중요하며, 표준 평균-mAP보다 작은 시간 오차에 더 민감한 특성을 보여주었다.