[논문 리뷰] Dynamic Regions Graph Neural Networks for Spatio-Temporal Reasoning.

Iulia Duta, Andrei Liviu Nicolicioiu|arXiv (Cornell University)|2020. 09. 17.

Human Pose and Action Recognition참고 문헌 62인용 수 5

한 줄 요약

이 논문은 입력 특징에 조건화된 미분 가능한 풀링 메커니즘을 사용하여 비디오의 시공간 추론을 위해 동적으로 국소화되고 적응적인 영역을 그래프 노드로 생성하는 동적 영역 그래프 신경망(DR-GNNs)을 제안한다. 객체 수준의 감독 없이도 객체 중심 표현을 학습함으로써 시각적 상호작용을 더 잘 모델링하고, 개체 수준의 상호작용을 포함한 비디오 분류 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Graph Neural Networks are perfectly suited to capture latent interactions occurring in the spatio-temporal domain. But when an explicit structure is not available, as in the visual domain, it is not obvious what atomic elements should be represented as nodes. They should depend on the context and the kinds of relations that we are interested in. We are focusing on modeling relations between instances by proposing a method that takes advantage of the locality assumption to create nodes that are clearly localised in space. Current works are using external object detectors or fixed regions to extract features corresponding to graph nodes, while we propose a module for generating the regions associated with each node dynamically, without explicit object-level supervision. Conditioned on the input, for each node we predict the location and size of a region and use them to pool node features using a differentiable mechanism. Constructing these localised, adaptive nodes makes our model biased towards object-centric representations and we show that it improves the modeling of visual interactions. By relying on a few localized nodes, our method learns to focus on salient regions leading to a more explainable model. Our model achieves superior results on video classification tasks involving instance interactions.

연구 동기 및 목표

• 명시적인 구조나 객체 검출기 없이 시공간 비디오 이해를 위한 의미 있는 국소화된 노드를 정의하는 데 도전하는 것.
• 각 노드별로 영역의 위치와 크기를 동적으로 예측함으로써 주목할 만한 국소화된 영역에 집중할 수 있도록 학습하는 방법을 개발하는 것.
• 고정되거나 외부 영역 제안 없이도 동적으로 생성된 영역에 대해 종단 간, 미분 가능한 특징 풀링을 가능하게 하는 것.
• 주목할 만한 시각적 인스턴스를 강조하는 본질적으로 국소화되고 적응적인 노드를 생성함으로써 모델의 해석 가능성 향상

제안 방법

• 모델은 각 그래프 노드에 대해 입력 특징을 사용하여 영역의 공간적 위치와 크기를 예측하는 학습 가능한 모듈을 도입한다.
• 예측된 영역에서 특징을 추출하기 위해 비가역적이지 않은 공간 풀링 메커니즘이 적용되어 영역 선택 과정에서 역전파가 가능해진다.
• 영역 생성은 입력 특징 맵과 노드의 표현에 조건화되어 있으며, 맥락 인식된 국소화를 가능하게 한다.
• 그래프 구조는 동적으로 생성된 영역 위에 구축되어, GNN이 국소화되고 적응적인 노드 간의 상호작용을 추론할 수 있도록 한다.
• 전체 파ipeline는 종단 간에 미분 가능하여 영역 예측과 메시지 전달의 공동 최적화가 가능하다.
• 외부 객체 검출기나 고정된 영역 제안 없이, 오직 학습된 적응적 영역에 의존한다.

실험 결과

연구 질문

• RQ1 동적으로 생성된 적응적 영역이 비디오 이해를 위한 그래프 신경망에서 효과적이고 의미 있는 노드로 기능할 수 있는가?
• RQ2 입력 맥락에 기반해 노드의 국소화를 학습하는 것이 비디오의 개체 수준 상호작용을 어떻게 향상시키는가?
• RQ3 객체 수준의 감독이 없을 경우, 고정되거나 검출기 기반 영역 대신 동적으로 생성된 영역을 사용할 때 성능에 어떤 영향을 미치는가?
• RQ4 전역 특징 대신 주목할 만한 국소화된 영역에 집중함으로써 성능 향상과 해석 가능성 향상을 달성할 수 있는가?
• RQ5 표준 풀링 또는 고정 영역 기반 베이스라인과 비교할 때, 미분 가능한 영역 풀링 메커니즘은 정확도와 강건성 측면에서 어떻게 다른가?

주요 결과

• 제안된 DR-GNN 모델은 개체 수준 상호작용을 포함한 비디오 분류 벤치마크에서 최신 기술 수준의 성능을 달성하며, 고정 또는 검출기 기반 영역을 사용하는 기존 방법들을 능가한다.
• 모델은 주목할 만한 국소화된 영역에 집중하는 방식으로 학습하여, 시각적으로 관련 있는 객체와 일치하는 더 설명 가능한 주의 패턴을 생성한다.
• 객체 수준의 감독이 필요 없기 때문에, 객체 검출기가 신뢰도가 떨어지거나 이용 불가능한 환경에서도 더 잘 일반화된다.
• 미분 가능한 영역 풀링 메커니즘은 효과적인 역전파와 함께 영역 선택 및 그래프 메시지 전달의 공동 최적화를 가능하게 한다.
• 제거 실험 결과 동적 영역 생성이 고정 또는 무작위 영역 기반 베이스라인 대비 성능 향상에 크게 기여한다는 것이 확인되었다.