[논문 리뷰] Actor-Context-Actor Relation Network for Spatio-Temporal Action Localization

Junting Pan, Siyu Chen외 4명|arXiv (Cornell University)|2020. 06. 14.

Human Pose and Action Recognition참고 문헌 61인용 수 11

한 줄 요약

이 논문은 액터-컨텍스트-액터 관계를 모델링하여 시공간 행동 탐지에서 고차원 관계를 간접 연결을 통해 추론함으로써 새로운 Actor-Context-Actor Relation Network(ACAR-Net)을 제안한다. 공통으로 상호작용하는 컨텍스트를 통해 액터 간의 간접 연결을 추론하는 High-Order Relation Reasoning Operator와 Actor-Context Feature Bank을 도입함으로써, 기존 방법 대비 +6.71 mAP 향상으로 AVA-Kinetics 2020 챌린지에서 1위를 달성하며 최신 기술 수준을 확립한다.

ABSTRACT

Localizing persons and recognizing their actions from videos is a challenging task towards high-level video understanding. Recent advances have been achieved by modeling direct pairwise relations between entities. In this paper, we take one step further, not only model direct relations between pairs but also take into account indirect higher-order relations established upon multiple elements. We propose to explicitly model the Actor-Context-Actor Relation, which is the relation between two actors based on their interactions with the context. To this end, we design an Actor-Context-Actor Relation Network (ACAR-Net) which builds upon a novel High-order Relation Reasoning Operator and an Actor-Context Feature Bank to enable indirect relation reasoning for spatio-temporal action localization. Experiments on AVA and UCF101-24 datasets show the advantages of modeling actor-context-actor relations, and visualization of attention maps further verifies that our model is capable of finding relevant higher-order relations to support action detection. Notably, our method ranks first in the AVA-Kineticsaction localization task of ActivityNet Challenge 2020, out-performing other entries by a significant margin (+6.71mAP). Training code and models will be available at https://github.com/Siyu-C/ACAR-Net.

연구 동기 및 목표

• 시공간 행동 탐지에서 이원관계 모델링의 한계를 해결하기 위해, 종종 중요한 고차원 컨텍스트 신호를 누락하는 문제를 해결하고자 한다.
• 직접적인 액터-액터 또는 액터-객체 관계에 의존하는 것 외에도, 액터들이 공통으로 상호작용하는 주변 컨텍스트를 기반으로 액터 간의 간접 관계를 명시적으로 모델링하고자 한다.
• 사전에 학습된 객체 검출기나 사전 정의된 객체 카테고리에 의존하지 않는 유연하고 엔드 투 엔드로 학습 가능한 프레임워크를 개발하고자 한다.
• 다양한 액터와 시공간 위치 간의 세밀하고 컨텍스트에 의존하는 관계를 캡처하여 행동 탐지 정확도를 향상시키고자 한다.

제안 방법

• 이 방법은 액터 간의 이차 관계를 그들이 공유하는 컨텍스트 상호작용을 통해 모델링하는 Actor-Context-Actor Relation Network(ACAR-Net)을 도입한다.
• 1차 관계 특징 맵에 대해 완전히 컨volutional 방식으로 작동하는 High-Order Relation Reasoning Operator를 활용하여 공간적 레이아웃을 유지하고 전역적 컨텍스트 추론을 가능하게 한다.
• Actor-Context Feature Bank은 다중 시간 단계에 걸친 액터-컨텍스트 관계를 저장하고 집계하여 간접 관계의 시간적 모델링을 가능하게 한다.
• 컨텍스트 특징은 외부 객체 검출기에 의존하지 않고, SlowFast 백본의 시공간 그리드 특징 맵에서 직접 유도된다.
• RoI에서 풀된 액터 특징과 백본 특징 맵에서 유도된 컨텍스트 특징을 처리하여, 공통 컨텍스트를 통해 액터 간의 어텐션 가중 관계를 계산한다.
• 전체 프레임워크는 사전 학습된 비디오 백본 위에서 작동하며, 추가적인 검출 헤드나 카테고리별 감독 없이 엔드 투 엔드로 학습 가능하다.

실험 결과

연구 질문

• RQ1 공통으로 상호작용하는 컨텍스트를 통해 액터 간의 간접적이고 고차원 관계를 모델링하면, 이원관계 모델링을 넘어서 시공간 행동 탐지 성능을 향상시킬 수 있는가?
• RQ2 사전에 학습된 객체 검출기가 없는 경우, 행동 탐지에서 컨텍스트 표현의 강건성과 일반화 능력에 어떤 영향을 미치는가?
• RQ3 암시적이고 컨텍스트를 통해 매개되는 액터 간 관계가 '타고 타기'나 '전달하기'와 같이 다중 에이전트 상호작용에 의존하는 행동 인식에 얼마나 기여하는가?
• RQ4 제안된 High-Order Relation Reasoning Operator가 장면의 공간적·시간적 일관성 있는 신호를 효과적으로 캡처하는가?
• RQ5 ACAR-Net은 인간-물체 및 인간-인간 상호작용이 복잡한 다양한 데이터셋과 행동 카테고리로 일반화 가능한가?

주요 결과

• ACAR-Net은 AVA-Kinetics 2020 테스트 세트에서 39.62 mAP를 기록하여, 다른 모든 참가자들보다 크게 +6.71 mAP 높은 성능으로 1위를 달성하였다.
• AVA 데이터셋에서, 액터-컨텍스트-액터 관계의 명시적 모델링을 통해 기준 성능이 +2.86 mAP 향상되었다.
• UCF101-24에서, Actor-Context Feature Bank 없이 학습한 경우 84.3 mAP, 기준 모델을 사용한 경우 82.4 mAP를 기록하여 강력한 일반화 능력과 강건성을 입증하였다.
• 정성적 시각화 결과, 모델이 손, 팔, 물체와 같이 액터 간 행동을 매개하는 관련 컨텍스트 영역에 주의를 기울이는 것을 확인할 수 있었다.
• High-Order Relation Reasoning Operator는 '스티어링 휠을 다루는 드라이버의 행동'을 바탕으로 '타고 타기'를 유추하는 등 암시적이고 이차 관계를 성공적으로 인코딩하였다.
• 모델은 다양한 데이터셋에 대해 잘 일반화되며, AVA와 UCF101-24 양쪽 모두에서 일관된 성능 향상을 보여, 다양한 실제 시나리오에서의 효과성을 입증하였다.