[논문 리뷰] G-TAD: Sub-Graph Localization for Temporal Action Detection

Mengmeng Xu, Chen Zhao외 3명|arXiv (Cornell University)|2019. 11. 26.

Human Pose and Action Recognition참고 문헌 56인용 수 28

한 줄 요약

G-TAD는 비디오 그래프 내에서 부분 그래프 국지를 문제로 삼는 그래프 컬러션 네트워크(GCN) 기반 프레임워크를 제안한다. 여기서 스니펫은 노드로, 상관관계는 간선으로, 맥락적 지원을 받는 동작은 목표 부분 그래프로 간주된다. 동적 의미 간선과 SGAlign를 활용한 새로운 GCNeXt 블록을 통해 부분 그래프 임베딩을 수행함으로써, G-TAD는 제안된 방법으로 최신 기술 성능을 달성하였으며, ActivityNet-1.3에서 34.09% mAP, THUMOS14에서 IoU@0.5 기준 51.6% mAP의 성능을 기록하였다. 이는 제안 처리를 통한 결과이다.

ABSTRACT

Temporal action detection is a fundamental yet challenging task in video understanding. Video context is a critical cue to effectively detect actions, but current works mainly focus on temporal context, while neglecting semantic context as well as other important context properties. In this work, we propose a graph convolutional network (GCN) model to adaptively incorporate multi-level semantic context into video features and cast temporal action detection as a sub-graph localization problem. Specifically, we formulate video snippets as graph nodes, snippet-snippet correlations as edges, and actions associated with context as target sub-graphs. With graph convolution as the basic operation, we design a GCN block called GCNeXt, which learns the features of each node by aggregating its context and dynamically updates the edges in the graph. To localize each sub-graph, we also design an SGAlign layer to embed each sub-graph into the Euclidean space. Extensive experiments show that G-TAD is capable of finding effective video context without extra supervision and achieves state-of-the-art performance on two detection benchmarks. On ActivityNet-1.3, it obtains an average mAP of 34.09%; on THUMOS14, it reaches 51.6% at IoU@0.5 when combined with a proposal processing method. G-TAD code is publicly available at https://github.com/frostinassiky/gtad.

연구 동기 및 목표

• 현재 방법들이 시간적 맥락에만 의존하는 한계를 해결하기 위해 비디오 이해에서 더 풍부하고 적응적인 의미적 맥락을 통합한다.
• 비디오 맥락을 시간적 외에도 의미적으로 모델링하여, 직접적인 이웃이 아닌 내용 기반 비근접 이웃을 기반으로 동작 검출이 가능하도록 한다.
• 행동 검출을 동적 비디오 그래프 내에서 부분 그래프 국지화로 간주하는 통합 프레임워크를 개발함으로써 검출의 강건성과 정확도를 향상시킨다.
• 학습 도중 진화하는 그래프 컬러션을 통해 맥락 인식 특징 학습을 가능하게 하여 장거리 및 의미적으로 관련된 스니펫을 포괄한다.
• 학습된 의미 간선이 인간 레이블 맥락 양과 강하게 상관됨을 입증함으로써, 모델이 의미 있는 맥락을 탐지할 수 있음을 검증한다.

제안 방법

• 스니펫을 노드로, 연속적인 스니펫 간에 시간 간선을 설정하고, 특징 유사도 기반으로 학습 가능한 의미 간선을 설정함으로써 비디오를 그래프로 표현한다.
• ResNeXt를 영감으로 삼은 GCNeXt를 설계하여, 동적 간선 업데이트를 통한 스택된 그래프 컬러션을 통해 다중 수준 맥락을 집계한다.
• 각 후보 행동 부분 그래프를 고정된 크기의 유클리드 표현으로 임베딩하기 위한 부분 그래프 정렬 레이어인 SGAlign을 도입한다.
• faster R-CNN에 유사한 이단계 파이프라인을 사용한다: GCNeXt를 통해 맥락 인식 특징 학습을 수행하고, 이후 SGAlign을 통해 부분 그래프 표현 및 검출을 수행한다.
• 부분 그래프 예측에 대해 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 모델을 훈련시키며, 최적화 도중 그래프 구조가 진화하도록 한다.
• 시간 간선과 학습된 의미 간선을 모두 활용하여 비디오 그래프 전반에 걸쳐 장거리이며 내용 기반 적응형 맥락 전파를 가능하게 한다.

실험 결과

연구 질문

• RQ1 특징에서 의미 간선을 학습하는 그래프 기반 접근 방식이 시간적 맥락에만 의존하는 기존 모델보다 시간적 행동 검출에서 뛰어난 성능을 낼 수 있는가?
• RQ2 추가 감독 없이도 동적 그래프 컬러션 네트워크가 다중 수준 의미 맥락을 적응적으로 학습할 수 있는 정도는 어느 정도인가?
• RQ3 학습된 의미 그래프가 인간 레이블 맥락 양과 얼마나 강하게 상관되는가?
• RQ4 SGAlign에 의한 부분 그래프 국지화 파라다임이 표준 회귀 또는 분류 헤드에 비해 검출 정확도를 향상시키는가?
• RQ5 행동이 시간적으로 떨어져 있을지라도, 내용 기반 적응형 맥락을 학습함으로써 모델이 다양한 비디오 콘텐츠에 일반화할 수 있는가?

주요 결과

• G-TAD는 추가 데이터나 후처리 없이 ActivityNet-1.3에서 34.09% mAP를 기록하여 새로운 최신 기술 성능을 달성하였다.
• THUMOS14에서 제안 처리 방법과 결합한 결과, IoU@0.5 기준 51.6% mAP를 달성하여 뛰어난 일반화 성능을 입증하였다.
• 행동 스니펫과 배경 스니펫 간의 의미 간선은 적응적으로 학습되며, 이들의 비율은 인간 레이블 맥락 양과 강하게 상관된다(R² > 0.8, 산점도 기준).
• 시각화 결과, 학습 도중 의미 그래프가 진화하며 깊이가 깊어질수록 더 많은 맥락 간선이 생성되는 것으로 나타나, 점진적인 맥락 통합이 이루어짐을 시사한다.
• 제거 실험 결과, GCNeXt와 SGAlign 둘 다 필수적임을 확인하였다: 의미 간선이나 정렬 레이어를 제거하면 성능이 심각하게 저하된다.
• 행동이 맥락과 시간적으로 인접하지 않더라도 정확히 국지화할 수 있었으며, 이는 단순한 시간적 근접성 외에도 의미적 근접성을 효과적으로 활용함을 증명한다.