[논문 리뷰] STAGE: Spatio-Temporal Attention on Graph Entities for Video Action Detection.

Matteo Tomei, Lorenzo Baraldi외 3명|arXiv (Cornell University)|2019. 12. 09.

Human Pose and Action Recognition참고 문헌 31인용 수 6

한 줄 요약

이 논문은 연속된 영상 클립 간에 액터와 오브젝트 간의 시공간적 상호작용을 그래프 기반 자기주의를 통해 모델링하는 백본에 종속되지 않는 비디오 동작 검출 모듈인 STAGE를 제안한다. 그래프 주의 메커니즘을 통해 동적 관계를 학습함으로써, STAGE는 종료형 훈련이나 다중 GPU 동기화를 요구하지 않으며 AVA 데이터셋에서 기준 모델 대비 10-16%의 상대적 mAP 향상을 달성한다.

ABSTRACT

Spatio-temporal action localization is a challenging yet fascinating task that aims to detect and classify human actions in video clips. In this paper, we develop a high-level video understanding module which can encode interactions between actors and objects both in space and time. In our formulation, spatio-temporal relationships are learned by performing self-attention operations on a graph structure connecting entities from consecutive clips. Noticeably, the use of graph learning is unprecedented for this task. From a computational point of view, the proposed module is backbone independent by design and does not need end-to-end training. When tested on the AVA dataset, it demonstrates a 10-16% relative mAP improvement over the baseline. Further, it can outperform or bring performances comparable to state-of-the-art models which require heavy end-to-end and synchronized training on multiple GPUs. Code is publicly available at: this https URL.

연구 동기 및 목표

• 비디오 동작 검출에서 액터와 오브젝트 간의 복잡한 시공간적 상호작용을 모델링하는 과제를 해결한다.
• 공간과 시간에 걸쳐 동적이고 장거리 종속성을 포착하지 못하는 기존 방법의 한계를 극복한다.
• 비디오 백본 아키텍처에 종속되지 않으며, 비용이 많이 드는 종료형 훈련을 피하는 모듈을 설계한다.
• 최소한의 훈련 오버헤드와 계산 비용으로 최신 성능을 달성한다.
• 연속된 클립 간의 엔티티 상호작용을 그래프 기반으로 모델링하여 효과적인 비디오 이해를 가능하게 한다.

제안 방법

• 연속된 영상 클립 간에 검출된 엔티티(액터와 오브젝트)를 연결하는 동적 그래프 구조를 구축한다.
• 엔티티 간의 시공간적 관계를 모델링하기 위해 그래프에 자기주의 기반 메커니즘을 적용한다.
• 공간과 시간에 걸쳐 상호작용의 중요도를 동적으로 가중치를 매기는 그래프 기반 주의 메커니즘을 사용한다.
• 백본 아키텍처에 종속되지 않도록 모듈을 설계하여 즉시 통합이 가능하도록 한다.
• 백본 네트워크와 별도로 모듈을 훈련시어 종료형 최적화를 피한다.
• 시간적 연속성을 활용하여 인접한 클립 간의 엔티티를 연결함으로써 운동과 상호작용의 진화를 포착한다.

실험 결과

연구 질문

• RQ1 그래프 기반 자기주의가 비디오 동작 검출에서 액터와 오브젝트 간의 시공간적 상호작용을 효과적으로 모델링할 수 있는가?
• RQ2 종료형 훈련에 의존하는 최신 기술 대비 STAGE 모듈의 정확도와 훈련 효율성은 어떻게 비교되는가?
• RQ3 백본에 종속되지 않는 모듈이 다중 GPU 동기화 훈련 없이 mAP 향상에 얼마나 기여할 수 있는가?
• RQ4 단일 프레임 방법에 비해 연속 클립 간의 상호작용을 모델링함으로써 동작 정위치 성능이 향상되는가?
• RQ5 그래프 구조에 적용된 주의 메커니즘이 기존 방법보다 비디오 동작에서 장거리 종속성을 더 효과적으로 포착할 수 있는가?

주요 결과

• STAGE는 AVA 데이터셋에서 기준 모델 대비 10-16%의 상대적 mAP 향상을 달성한다.
• 비용이 많이 드는 종료형 훈련에 의존하는 최신 기술 모델보다 성능이 뛰어나거나 동등하다.
• 종료형 훈련과 백본 아키텍처에 종속되지 않기 때문에 계산적으로 효율적이다.
• 그래프 기반 주의 메커니즘이 액터와 오브젝트 간의 동적 시공간적 관계를 성공적으로 포착한다.
• 재학습 없이 다양한 비디오 백본과 호환되어 강력한 일반화 성능을 보인다.
• 성능 향상은 그래프 주의를 통한 시간과 공간에 걸친 상호작용의 효과적인 모델링 덕분으로 기인한다.