[논문 리뷰] Towards High-Quality Temporal Action Detection with Sparse Proposals

Jiannan Wu, Peize Sun외 5명|arXiv (Cornell University)|2021. 09. 18.

Human Pose and Action Recognition참고 문헌 46인용 수 6

한 줄 요약

이 논문은 장기 및 단기 동작 인스턴스에서 경계 국소화 성능을 향상시키기 위해 제안된 후보자와 중간 백본 레이어의 고해상도 특징 간 희박하고 국소화된 상호작용을 사용하는 쿼리 기반 시간 행동 탐지 프레임워크인 SP-TAD를 제안한다. 전역 주의 메서드에 비해 계산 복잡도가 감소하여 더 빠른 추론을 가능하게 하며, THUMOS14에서 최고 성능(53.5% mAP@Avg)을 달성하고 ActivityNet-1.3에서도 경쟁적인 성능을 보였다.

ABSTRACT

Temporal Action Detection (TAD) is an essential and challenging topic in video understanding, aiming to localize the temporal segments containing human action instances and predict the action categories. The previous works greatly rely upon dense candidates either by designing varying anchors or enumerating all the combinations of boundaries on video sequences; therefore, they are related to complicated pipelines and sensitive hand-crafted designs. Recently, with the resurgence of Transformer, query-based methods have tended to become the rising solutions for their simplicity and flexibility. However, there still exists a performance gap between query-based methods and well-established methods. In this paper, we identify the main challenge lies in the large variants of action duration and the ambiguous boundaries for short action instances; nevertheless, quadratic-computational global attention prevents query-based methods to build multi-scale feature maps. Towards high-quality temporal action detection, we introduce Sparse Proposals to interact with the hierarchical features. In our method, named SP-TAD, each proposal attends to a local segment feature in the temporal feature pyramid. The local interaction enables utilization of high-resolution features to preserve action instances details. Extensive experiments demonstrate the effectiveness of our method, especially under high tIoU thresholds. E.g., we achieve the state-of-the-art performance on THUMOS14 (45.7% on mAP@0.6, 33.4% on mAP@0.7 and 53.5% on mAP@Avg) and competitive results on ActivityNet-1.3 (32.99% on mAP@Avg). Code will be made available at https://github.com/wjn922/SP-TAD.

연구 동기 및 목표

• 밀도 높은 제안자 방법의 한계, 즉 높은 계산 비용과 앵커나 임계값과 같은 수작업 설계에 민감한 점을 해결하기 위해.
• 특히 단기 및 변동 길이 동작에 대해 쿼리 기반 방법과 앵커 기반 방법 간의 성능 격차를 해소하기 위해.
• 전역 주의를 피하고 국소화된 계층적 특징 상호작용을 통해 고해상도 특징을 활용하여 정확한 경계 국소화를 가능하게 하기 위해.
• RGB와 옵티컬 플로우 스트림을 조기에 융합하고 늦은 융합이나 복잡한 파ip라인을 피하는 통합형 엔드 투 엔드 학습 가능한 프레임워크를 개발하기 위해.

제안 방법

• SP-TAD는 행동 인스턴스를 예측하기 위해 학습 가능한 쿼리의 소량을 사용하여 밀도 높은 앵커 생성을 피하는 단순한 쿼리 기반 탐지 파이프라인을 구현한다.
• 각 제안자가 시간 특징 피라미드의 국소 세그먼트에만 주목하는 새로운 희박한 상호작용 메커니즘을 도입하여 중간 백본 레이어의 고해상도 세부 정보를 유지한다.
• 백본의 중간 레이어에서 추출한 특징을 사용해 다중 해상도 표현을 가능하게 하는 시간 특징 피라미드(TFPN)를 구성한다. 이는 다운샘플링 손실 없이 다중 해상도 표현을 가능하게 한다.
• 스택된 탐지 헤드를 통해 반복적인 정밀 조정을 수행하여 제안자 경계를 점진적으로 개선함으로써 국소화 정확도를 향상시킨다.
• 탐지 헤드가 예측한 분류 점수를 보정하기 위해 행동 분류 헤드를 추가하여 전체 정확도를 향상시킨다.
• 모델은 원시 이중 스트림 입력(RGB 및 옵티컬 플로우)에서부터 엔드 투 엔드로 훈련되며, 조기 융합을 통해 통합 아키텍처를 유지하고 늦은 융합을 피한다.

실험 결과

연구 질문

• RQ1 밀도 높은 제안자나 수작업 설계된 앵커에 의존하지 않고도 쿼리 기반 방법이 시간 행동 탐지에서 최고 성능을 달성할 수 있는가?
• RQ2 고해상도 특징과의 국소적 희박한 상호작용은 단기 및 장기 동작 인스턴스의 경계 국소화에 어떻게 기여하는가?
• RQ3 백본의 중간 레이어 특징을 사용할 경우 해상도와 탐지 품질에 어떤 영향을 미치는가?
• RQ4 반복적 정밀 조정 전략은 고 IoU 임계값에서 mAP 향상에 어떻게 기여하는가?
• RQ5 엔드 투 엔드 최적화를 통해 RGB와 옵티컬 플로우 스트림을 조기에 융합하는 것이 늦은 융합이나 별도의 이중 스트림 네트워크를 초월할 수 있는가?

주요 결과

• SP-TAD는 THUMOS14에서 53.5% mAP@Avg, 45.7% mAP@0.6, 33.4% mAP@0.7를 기록하며, 고 IoU 임계값에서 이전 방법들을 크게 앞서는 최고 성능을 달성했다.
• 시간 특징 피라미드에 중간 레이어 특징을 사용함으로써, 특히 단기 동작 인스턴스에서 더 나은 경계 국소화가 가능해졌으며, mAP@0.6 및 mAP@0.7에서 성능 향상으로 확인되었다.
• 4개의 스택된 탐지 헤드를 통해 반복적 정밀 조정을 수행한 전략이 최고의 성능을 보였으며, 단일 헤드 대비 mAP@Avg에서 6.0% 향상되어 그 필요성과 효과성을 입증했다.
• 행동 분류 헤드를 추가함으로써 THUMOS14에서 mAP@Avg가 52.1%에서 53.5%로 향상되었으며, 이는 탐지 헤드의 분류 오류를 보정하는 데서 그 가치가 입증됨을 보여준다.
• 클립 길이 256 토큰이 최적의 균형을 이룩했으며, 약 98%의 동작 인스턴스를 커버하고 가장 높은 mAP를 기록했고, 더 길거나 짧은 클립은 성능을 떨어뜨렸다.
• 시각화 결과는 AFSD와 같은 최고 수준의 기존 방법들과 비교해 SP-TAD가 더 정확한 시간 경계를 생성하며 진정한 경계에 더 가까이 위치함을 보여주었다. 특히 고 IoU 임계값 하에서 두드러진 성능을 보였다.