[논문 리뷰] 1st place solution for AVA-Kinetics Crossover in AcitivityNet Challenge 2020

Siyu Chen, Junting Pan외 7명|arXiv (Cornell University)|2020. 06. 16.

Human Pose and Action Recognition참고 문헌 16인용 수 4

한 줄 요약

이 논문은 2020년 ActivityNet 챌린지에서 AVA-Kinetics Crossover 트랙의 1등 성과를 달성한 솔루션을 제시하며, 위치 기반 어텐션 메커니즘을 통해 액터와 시점적 맥락 간의 고차원 시공간 관계를 모델링하는 액터-컨텍스트-액터 관계 네트워크(ACAR-Net)를 소개한다. 이 방법은 테스트 세트에서 39.62 mAP를 기록하여, 약간의 약한 감독을 받는 관계 추론 모듈을 통해 일阶 액터-컨텍스트 관계와 그들의 고차원 상호작용을 명시적으로 활용함으로써 다른 참가자들보다 뚜렷하게 뛰어난 성능을 보였다.

ABSTRACT

This technical report introduces our winning solution to the spatio-temporal action localization track, AVA-Kinetics Crossover, in ActivityNet Challenge 2020. Our entry is mainly based on Actor-Context-Actor Relation Network. We describe technical details for the new AVA-Kinetics dataset, together with some experimental results. Without any bells and whistles, we achieved 39.62 mAP on the test set of AVA-Kinetics, which outperforms other entries by a large margin. Code will be available at: https://github.com/Siyu-C/ACAR-Net.

연구 동기 및 목표

• 액터와 시점적 맥락 간의 복잡한 고차원 관계를 모델링하여 AVA-Kinetics Crossover 데이터셋에서 시공간 행동 로컬라이제이션 성능을 향상시키는 것.
• 공유된 공간적 맥락을 통해 액터 간 간접적이고 고차원적인 관계를 효과적으로 모델링할 수 있는 효율적이고 효과적인 방법을 개발하는 것.
• 도메인 차이와 검출 품질 제한에도 불구하고 대규모 Kinetics 데이터를 활용하여 AVA-Kinetics 벤치마크에서 일반화 능력과 성능을 향상시키는 것.
• 인간이 레이블링한 관계 데이터가 아닌 행동 레이블만으로도 학습이 가능한 약한 감독 기반의 관계 추론 모듈을 설계하는 것.
• 특징 백업, 관계 모델링, 다중 해상도 추론을 조합한 단순하면서도 강력한 아키텍처를 사용하여 최신 기술 수준의 성능를 달성하는 것.

제안 방법

• 프레임워크는 비디오 백본(예: I3D 또는 SlowFast)과 사람 검출기(예: Faster R-CNN)를 사용하여 关键 프레임에서 시공간 특징을 추출하고 RoI 제안을 생성한다.
• 일차 액터-컨텍스트 관계는 각 액터의 특징과 비디오 특징 맵의 공간 격자(feature map)를 연결한 후, 관계 맵을 생성하기 위해 컨볼루션 처리를 수행함으로써 계산된다.
• 고차원 관계 추론 연산자(HR²O)는 동일한 공간 위치에서 일차 액터-컨텍스트 특징 간의 관계를 모델링하기 위해 도입되며, 레이어 정규화와 드롭아웃를 적용한 수정된 컨볼루션 비국소 블록을 사용한다.
• HR²O는 각 공간 위치에서 서로 다른 액터의 일차 관계 간의 어텐션 가중치를 계산하고, 가중치 합을 통해 맥락 특징을 집계하여 고차원 관계 특징을 생성한다.
• 단기 클립에서 생성된 액터-컨텍스트 특징 백업(ACFB)은 시간에 걸쳐 첫 번째 관계 특징을 저장하고 재사용함으로써 장기적 시간 모델링을 향상시킨다.
• 최종 예측은 RoI 특징, 고차원 관계 특징(평균 풀링을 통해), 및 분류 헤드를 조합하여 수행되며, 여러 모델과 백본 간 앙상블을 통해 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 동일한 공간 위치에서 액터-컨텍스트 특징 간의 고차원 관계를 모델링하면 시공간 행동 로컬라이제이션 성능 향상에 기여하는가?
• RQ2 명시적인 관계 레이블 없이도 약한 감독 기반의 어텐션 기반 관계 추론 모듈이 간접적이고 고차원적인 종속성을 효과적으로 포착할 수 있는가?
• RQ3 Kinetics-700에서 사전학습하고 AVA-Kinetics에서 미세조정하면 타겟 벤치마크에서 일반화 능력과 mAP 성능 향상에 얼마나 기여하는가?
• RQ4 사람 검출 품질이 최종 행동 로컬라이제이션 성능에 미치는 영향은 어떠한가? 특히 실제 레이블이 아닌 모델이 생성한 박스를 사용할 경우에 대해 어떻게 되는가?
• RQ5 시간에 걸쳐 첫 번째 관계 특징의 백업을 통해 장기적 시간 모델링을 향상시키고 mAP 성능을 향상시킬 수 있는가?

주요 결과

• 제안된 ACAR-Net은 AVA-Kinetics 테스트 세트에서 39.62 mAP를 달성하여 ActivityNet 챌린지 2020년 동안 모든 다른 참가자들보다 크게 앞서는 성능을 보였다.
• 간단한 선형 분류 헤드에 ACAR-Net 헤드를 추가함으로써 mAP가 1.6 포인트 향상되었으며, 고차원 관계 모델링의 효과를 입증했다.
• 액터-컨텍스트 특징 백업(ACFB) 헤드를 통합함으로써 기준 모델 대비 mAP가 2.86 포인트 향상되었으며, 장기적 특징 기억의 이점을 강력히 보여주었다.
• 더 강력한 SlowFast R152 백본을 사용함으로써 R101 대비 mAP가 0.54 포인트 향상되었고, 테스트 세트에서의 성능 저하도 -0.13 mAP로 최소화되어 강력한 일반화 능력을 보였다.
• AVA-Kinetics에서 Kinetics 데이터를 함께 학습시킴으로써 AVA에서만 학습한 경우 대비 mAP가 약 2 포인트 향상되었으며, 데이터 혼합 전략의 가치를 입증했다.
• AVA 사람 검출에서 95.8 AP@50를 달성했음에도 불구하고, 실제 레이블 성능과 8.1 mAP의 격차를 보였으며, 검출 품질이 여전히 성능의 한계 요소로 남아 있음을 시사했다.