[논문 리뷰] Asynchronous Interaction Aggregation for Action Detection

Jiajun Tang, Xia Jin외 3명|arXiv (Cornell University)|2020. 04. 16.

Human Pose and Action Recognition참고 문헌 38인용 수 6

한 줄 요약

이 논문은 비디오 행동 검출을 위한 이방향 상호작용 집계(AIA) 네트워크를 제안하며, 계층적인 상호작용 집계(IA) 구조와 이방향 메모리 업데이트(AMU) 알고리즘을 통해 사람-사람, 사람-물체, 시간적 상호작용을 통합하여 장거리 의존성을 효율적으로 모델링한다. AIA는 AVA에서 최고 성능(31.2 mAP, 기준선 대비 3.7 mAP 향상)을 달성하였고, UCF101-24와 EPIC-Kitchens에서도 뛰어난 일반화 성능을 보였다.

ABSTRACT

Understanding interaction is an essential part of video action detection. We propose the Asynchronous Interaction Aggregation network (AIA) that leverages different interactions to boost action detection. There are two key designs in it: one is the Interaction Aggregation structure (IA) adopting a uniform paradigm to model and integrate multiple types of interaction; the other is the Asynchronous Memory Update algorithm (AMU) that enables us to achieve better performance by modeling very long-term interaction dynamically without huge computation cost. We provide empirical evidence to show that our network can gain notable accuracy from the integrative interactions and is easy to train end-to-end. Our method reports the new state-of-the-art performance on AVA dataset, with 3.7 mAP gain (12.6% relative improvement) on validation split comparing to our strong baseline. The results on dataset UCF101-24 and EPIC-Kitchens further illustrate the effectiveness of our approach. Source code will be made public at: https://github.com/MVIG-SJTU/AlphAction .

연구 동기 및 목표

• 기존 행동 검출 방법이 단일 유형의 상호작용(예: 사람-물체)만 모델링하거나 별도로 처리하는 데서 기인하는 한계를 해결한다.
• 과도한 계산 비용 없이 장기적인 시간적 상호작용을 효율적으로 모델링하는 도전 과제를 극복한다.
• 다양한 사람-맥락 상호작용을 종합적으로 활용하여 개선된 시공간 행동 국소화를 달성하기 위한 종단간 훈련이 가능한 딥 네트워크를 가능하게 한다.
• AVA, UCF101-24, EPIC-Kitchens와 같은 다양한 벤치마크에서 제안된 프레임워크의 일반화 능력을 입증한다.

제안 방법

• 네트워크 깊이에 따라 기본 상호작용 블록을 네스팅하여 사람-사람, 사람-물체, 시간적 상호작용의 세 가지 유형을 계층적으로 통합하는 상호작용 집계(IA) 구조를 제안한다.
• 과거 클립의 공간적 특징을 동적으로 저장하고 검색하여 장기적인 시간적 의존성을 모델링하는 데 목적이 있는 새로운 이방향 메모리 업데이트(AMU) 알고리즘을 도입한다. 이는 사전에 특징을 추출하지 않아도 된다.
• 목표 클립의 특징을 메모리 풀에 기록하고 이후 반복에서 재활용하여 장기적 맥락 모델링을 시뮬레이션하는 메모리 구조를 사용한다.
• 시퀀스 길이에 따라 계산 비용이 선형적으로 증가하지 않도록, 장기 메모리 특징의 비가역적 특성을 쓰기-읽기 메커니즘으로 근사함으로써 종단간 훈련을 가능하게 한다.
• IA와 AMU 요소를 통합된 프레임워크로 통합하여 표준 백본 아키텍처를 사용해 표준 backpropagation로 훈련하고 최적화할 수 있도록 한다.
• 일관된 구현 방식으로 여러 데이터셋에 적용: UCF101-24에는 ResNet-50/C2D, EPIC-Kitchens에는 기능 수준의 상호작용 모델링을 적용한 SlowFast 백본 사용.

실험 결과

연구 질문

• RQ1 통합된 딥 아키텍처가 사람-사람, 사람-물체, 시간적 상호작용과 같은 다양한 종류의 사람-맥락 상호작용을 효과적으로 통합하여 행동 검출 정확도를 향상시킬 수 있는가?
• RQ2 사전 계산된 특징이 없이도 고비용 계산 없이 장기적인 시간적 상호작용을 동적으로 모델링할 수 있는 효율적인 메모리 메커니즘이 존재하는가?
• RQ3 제안된 이방향 메모리 업데이트(AMU) 알고리즘이 장거리 의존성을 가진 네트워크의 안정적이고 종단간 훈련을 가능하게 하는가?
• RQ4 AIA 프레임워크는 AVA, UCF101-24, EPIC-Kitchens와 같은 다양한 벤치마크에서 일관된 성능 향상을 보이며 일반화 가능한가?
• RQ5 통합된 상호작용이 국소적 또는 단일 상호작용 특징에 의존하는 모델에 비해 복잡한 장기 행동을 탐지하는 데 얼마나 기여하는가?

주요 결과

• AIA는 AVA v2.2 검증 세트에서 32.26 mAP로 새로운 SOTA 성능을 기록하였으며, 강력한 기준선 대비 3.7 mAP 향상(12.6% 상대적 향상)을 기록하였다.
• AVA v2.1에서 AIA-R101은 31.2 mAP를 기록하여 이전 SOTA 방법(SlowFast)보다 3.0 mAP 높게 성과를 냈다.
• UCF101-24에서 AIA-Serial은 78.5 mAP를 기록하여 C2D 기준선 대비 3.3% 향상되었으며, 경량 2D 백본임에도 불구하고 뛰어난 성능을 보였다.
• EPIC-Kitchens에서 AIA-Dense-Serial은 동작에 대해 60.0%의 top-1 정확도(기준선 대비 3.2% 향상), 동작에 대해 27.7%의 top-1 정확도(기준선 대비 3.6% 향상)를 기록하였다.
• 제거 실험 결과, 세 가지 상호작용 유형을 함께 모델링할 경우 성능 향상이 크게 향상되었으며, 각 구성 요소가 최종 성과 향상에 기여하는 것으로 확인되었다.
• AMU 알고리즘이 최소한의 계산 오버헤드로 효과적인 장거리 모델링을 가능하게 하여 종단간 훈련이 가능하고 효율적이게 하였다.