[논문 리뷰] Relation Modeling in Spatio-Temporal Action Localization

Yutong Feng, Jianwen Jiang외 6명|arXiv (Cornell University)|2021. 06. 15.

Human Pose and Action Recognition참고 문헌 24인용 수 8

한 줄 요약

이 논문은 공간적 및 시간적 차원을 통해 트랜스포머 기반 관계 모델링을 사용하는 다중관계 시공간 행동 로컬라이제이션 프레임워크를 제안하며, 메모리 백업 통합 및 장테일 클래스 분포를 위한 분리된 토닝을 통해 성능을 향상시킨다. 이 방법은 AVA-Kinetics 테스트 세트에서 40.67 mAP를 달성하여, 사람 간 상호작용의 통합 모델링과 희귀 동작에 대한 개선된 일반화 능력을 통해 뚜렷한 성과 향상을 보였다.

ABSTRACT

This paper presents our solution to the AVA-Kinetics Crossover Challenge of ActivityNet workshop at CVPR 2021. Our solution utilizes multiple types of relation modeling methods for spatio-temporal action detection and adopts a training strategy to integrate multiple relation modeling in end-to-end training over the two large-scale video datasets. Learning with memory bank and finetuning for long-tailed distribution are also investigated to further improve the performance. In this paper, we detail the implementations of our solution and provide experiments results and corresponding discussions. We finally achieve 40.67 mAP on the test set of AVA-Kinetics.

연구 동기 및 목표

• AVA-Kinetics와 같은 대규모 장테일 비디오 데이터셋에서 시공간 행동 로컬라이제이션 성능 향상.
• 트랜스포머 기반 아키텍처 내에서 공간 전용(S-only), 시간 전용(T-only), 및 병합된 관계 모델링 전략의 효과성 탐구.
• 분리된 토닝 및 메모리 백업 메커니즘을 통한 희귀 동작 클래스에 대한 모델 일반화 능력 향상.
• 인간 검출 품질이 최종 행동 로컬라이제이션 성능에 미치는 영향 평가.
• AVA 및 Kinetics 데이터셋을 통합한 다중 데이터셋 프리트레인과 엔드 투 엔드 훈련을 통해 강건성 향상.

제안 방법

• 2D 인간 검출기로 인간 바운딩 박스를 생성하고, 이를 시간적으로 확장하여 3D RoI-Align을 사용해 비디오 백본(예: SlowFast 또는 ir-CSN)으로부터 3D 특징 맵을 추출한다.
• 공간 또는 시간 특징 시퀀스를 평탄화하고, 공유 가중치를 가진 트랜스포머 인코더 블록에 입력하여 개인 간 관계를 모델링하는 S-only 및 T-only 관계 헤드를 적용한다.
• 장기간 비디오 클립 동안 사람 특징를 저장하고 업데이트하는 메모리 백업을 도입하여 장거리 시간적 의존성 모델링을 향상시킨다.
• 특징 표현 학습의 안정성을 높이기 위해 모멘타임 업데이트 규칙을 사용하는 온라인 메모리 백업 업데이트 전략을 적용한다.
• 저자원 동작 카테고리에서의 성능 저하를 완화하기 위해 클래스 균형 샘플링을 사용한 분리된 토닝을 적용한다.
• AVA 및 Kinetics 데이터셋에서 공동 프리트레인과 전이 학습을 통해 엔드 투 엔드 훈련을 가능하게 한다.

실험 결과

연구 질문

• RQ1 S-only 및 T-only 관계 헤드는 시공간 행동 로컬라이제이션 성능에서 어떻게 비교되는가?
• RQ2 메모리 백업 사용이 비디오 행동 검출에서 장거리 시간적 의존성 모델링에 어떤 영향을 미치는가?
• RQ3 분리된 토닝은 빈도가 낮은 동작 카테고리에서 성능 향상을 이끌 수 있는가, 동시에 빈도가 높은 클래스의 성능을 떨어뜨리지 않는가?
• RQ4 인간 검출기의 선택이 최종 행동 검출 mAP에 어떤 영향을 미치는가?
• RQ5 다중 데이터셋 프리트레인(AVA + Kinetics)이 목표 테스트 세트에서의 일반화에 기여하는 정도는 어떠한가?

주요 결과

• 메모리 백업을 사용한 T-only 관계 헤드는 기준 모델 대비 약 0.8 mAP 향상으로 장거리 시간적 모델링의 가치를 입증했다.
• 분리된 토닝은 하위 20개의 빈도가 낮은 동작 카테고리에서 mAP를 1.05 포인트 향상시켰으며, 상위 20개 클래스에서는 최소한의 성능 저하를 보였다.
• 15개 모델의 앙상블 결과 AVA-Kinetics 테스트 세트에서 40.67 mAP를 달성했으며, 검증 세트 대비 단지 0.3 mAP의 감소만을 보여, 강력한 일반화 능력을 입증했다.
• GT 바운딩 박스를 사용하면 AVA에서 mAP가 43.53으로, Kinetics에서는 48.49로 상승하여, 파ip라인 내 인간 검출기가 핵심 병목 현상임을 시사했다.
• Kinetics700에서 프리트레인하면 Kinetics400 대비 약 1 mAP 향상되었으며, 시간 해상도를 ×2로 증가시켜 mAP를 약 0.6 포인트 향상시켰다.
• 메모리 백업을 두 단계로 훈련한 모델(먼저 AVA에서, 그 후 AVA-Kinetics에서 빈 백업으로)이 가장 뛰어난 성능을 보였으며, 헤드를 재초기화하는 전략보다 뛰어났다.