[논문 리뷰] Recurrent Space-time Graph Neural Networks

Andrei Liviu Nicolicioiu, Iulia Duta외 1명|arXiv (Cornell University)|2019. 04. 11.

Human Pose and Action Recognition참고 문헌 62인용 수 19

한 줄 요약

이 논문은 공간과 시간을 별도로 그러나 함께 처리하는 반복 메시지 전파를 통해 공간-시간 그래프를 인코딩하는 새로운 그래프 기반 모델인 반복 공간-시간 그래프(RSTG) 신경망을 제안한다. 이 모델은 2D ConvNet 백본을 사용할 경우 기존 강력한 베이스라인보다 8% 이상 높은 Top-1 정확도를 기록했고, 3D-ResNet-50 백본을 사용할 경우 3.1% 향상된 성능을 보이며 Something-Something-v1 데이터셋에서 최신 기준(SOTA) 성능을 달성하였다.

ABSTRACT

Learning in the space-time domain remains a very challenging problem in machine learning and computer vision. Current computational models for understanding spatio-temporal visual data are heavily rooted in the classical single-image based paradigm. It is not yet well understood how to integrate information in space and time into a single, general model. We propose a neural graph model, recurrent in space and time, suitable for capturing both the local appearance and the complex higher-level interactions of different entities and objects within the changing world scene. Nodes and edges in our graph have dedicated neural networks for processing information. Nodes operate over features extracted from local parts in space and time and previous memory states. Edges process messages between connected nodes at different locations and spatial scales or between past and present time. Messages are passed iteratively in order to transmit information globally and establish long range interactions. Our model is general and could learn to recognize a variety of high level spatio-temporal concepts and be applied to different learning tasks. We demonstrate, through extensive experiments and ablation studies, that our model outperforms strong baselines and top published methods on recognizing complex activities in video. Moreover, we obtain state-of-the-art performance on the challenging Something-Something human-object interaction dataset.

연구 동기 및 목표

• 영상 데이터에서 복잡한 시공간 상호작용을 학습하는 데 있어 기존 모델이 고정된 아키텍처나 열악한 장거리 모델링으로 인해 제한되는 문제를 해결하기 위해.
• 지역적 외관과 전역적, 고차원의 공간-시간 관계를 효과적으로 포착할 수 있는 일반 목적의 엔드 투 엔드 학습 가능한 신경망을 개발하기 위해.
• 통합된 그래프 프레임워크 내에서 공간과 시간 처리를 분해함으로써, 동적인 시각적 장면을 효율적이고 유연하게 모델링하기 위해.
• 특히 Something-Something-v1과 같은 실제 세계의 복잡한 인간-물체 상호작용 데이터셋에서 모델의 효과성을 입증하기 위해.
• 설계 선택 사항을 정당화하기 위한 아블레이션 스터디를 제공하기 위해, 특히 반복 메모리의 역할과 별도의 공간-시간 처리의 기여도를 포함하여.

제안 방법

• 모델은 I3D와 같은 백본 네트워크를 사용해 시공간 특징을 추출하고, 이를 공간 영역을 나타내는 노드와 시간 간 메시지를 인코딩하는 간선을 가진 반복 공간-시간 그래프에 입력한다.
• 각 노드는 국소적 특징, 이웃 공간 노드로부터 온 메시지, 그리고 자체 반복 메모리 상태를 전용 신경망을 통해 처리하여 동적 상태 갱신이 가능하다.
• 각 반복 단계에서 공간 처리와 시간 처리 단계를 번갈아가며 수행함으로써, 공간과 시간을 아우르는 장거리 의존성을 형성하는 반복적 메시지 전파가 가능해진다.
• 두 가지 변형이 도입되었다: RSTG-to-vec는 전역적인 영상 수준의 임베딩을 생성하고, RSTG-to-map은 각 시간 단계에서 3차원 특징 맵을 출력하여 공간 해상도를 유지한다.
• 그래프 출력을 백본 특징에 더하여 학습을 안정화시키기 위해 잔차 연결을 사용함으로써 기울기 흐름을 보장하고 최적화를 향상시킨다.
• 영상 분류 작업에서 표준 교차 엔트로피 손실을 사용하여 엔드 투 엔드로 학습되며, 무작위 컷팅 및 프레임 샘플링을 통한 데이터 증강 기법이 적용된다.

실험 결과

연구 질문

• RQ1 통합된 그래프 신경망 아키텍처가 별도의 반복 처리 단계를 통해 영상 데이터의 공간적 및 시간적 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 공간과 시간 처리를 분리하는 것이 통합 또는 순차적 모델링 방식과 비교해 성능에 어떤 영향을 미치는가?
• RQ3 3D CNN 백본 내에서 그래프를 다양한 깊이에 배치했을 때 하류 인식 정확도에 어떤 영향을 미치는가?
• RQ4 제안된 모델이 Something-Something-v1과 같은 복잡한 실제 세계의 인간-물체 상호작용 데이터셋에서 최신 기준 성능을 달성할 수 있는가?
• RQ5 Non-Local 네트워크와 같은 기존 방법과 비교해 RSTG 모델의 계산 복잡도는 유사 정확도 조건에서 어떻게 다른가?

주요 결과

• I3D 백본의 res3 및 res4 블록 뒤에 위치한 RSTG-to-map 모델이 Something-Something-v1 데이터셋에서 가장 높은 성능을 기록했으며, Top-1 정확도는 49.2%였다.
• 2D ConvNet 백본을 사용할 경우, RSTG 모델은 동일한 백본 아키텍처를 사용한 모든 다른 방법보다 Top-1 정확도가 8% 이상 향상되었다.
• 3D-ResNet-50 백본을 사용할 경우, RSTG 모델은 최고의 공개된 방법보다 Top-1 정확도에서 3.1% 향상된 성능을 기록했다.
• RSTG-to-vec 변형은 Non-Local 네트워크보다 빠른 추론 속도를 기록하면서도 더 높은 정확도를 유지하여 효율성-정확도 트레이드오프 측면에서 유리한 성능를 보였다.
• 아블레이션 스터디 결과, 별도의 공간-시간 처리와 반복 메모리 상태의 사용이 성능 향상에 필수적임을 확인했으며, 둘 중 하나를 제거할 경우 정확도가 크게 떨어졌다.
• 모델는 강력한 일반화 능력을 보였으며, 다양한 백본 삽입 위치에서 경쟁 가능한 성능를 기록했고, 특히 중간 계층(res3 및 res4)에 그래프를 삽입했을 때 최고의 성능를 기록했다.