[논문 리뷰] What and When to Look?: Temporal Span Proposal Network for Video Visual Relation Detection.

Sangmin Woo, Junhyug Noh외 1명|arXiv (Cornell University)|2021. 07. 15.

Multimodal Machine Learning Applications참고 문헌 22인용 수 4

한 줄 요약

이 논문은 영상 시각적 관계 탐지를 위한 새로운 방법인 시간적 스팬 제안 네트워크(Temporal Span Proposal Network, TSPN)를 제안한다. TSPN은 관계 탐색 공간을 희박화시키고 전체 영상의 시간적 맥락을 활용하여, 객체 쌍 간에 존재하는 관계의 종류와 그 관계가 발생하는 시점(시간)을 동시에 식별한다. TSPN은 ImageNet-VidVDR 및 VidOR에서 최신 기준 성능(SOTA)을 달성하면서도, 주요 세그먼트 기반 방법보다 두 배 빠른 성능을 보인다.

ABSTRACT

Identifying relations between objects is central to understanding the scene. While several works have been proposed for relation modeling in the image domain, there have been many constraints in the video domain due to challenging dynamics of spatio-temporal interactions (e.g., Between which objects are there an interaction? When do relations occur and end?). To date, two representative methods have been proposed to tackle Video Visual Relation Detection (VidVRD): segment-based and window-based. We first point out the limitations these two methods have and propose Temporal Span Proposal Network (TSPN), a novel method with two advantages in terms of efficiency and effectiveness. 1) TSPN tells what to look: it sparsifies relation search space by scoring relationness (i.e., confidence score for the existence of a relation between pair of objects) of object pair. 2) TSPN tells when to look: it leverages the full video context to simultaneously predict the temporal span and categories of the entire relations. TSPN demonstrates its effectiveness by achieving new state-of-the-art by a significant margin on two VidVRD benchmarks (ImageNet-VidVDR and VidOR) while also showing lower time complexity than existing methods - in particular, twice as efficient as a popular segment-based approach.

연구 동기 및 목표

• 복잡한 시공간 역학으로 인해 영상에서 어떤 객체 쌍이 상호작용하고, 그 상호작용이 언제 발생하는지를 동시에 식별하는 문제를 해결하기 위해.
• 기존의 세그먼트 기반 및 윈도우 기반 방법이 시간적 맥락을 완전히 모델링하지 못하고 효율성이 떨어지는 문제를 해결하기 위해.
• 관계 카테고리와 그 시간적 스팬을 동시에 예측하는 통합 프레임워크를 제안하여, 관계도 점수를 통해 관계 탐색 공간을 축소하기 위해.
• 기존 최신 기준 성능(SOTA) 방법들보다 더 높은 정확도와 더 낮은 시간 복잡도를 달성하기 위해.

제안 방법

• TSPN은 객체 쌍 간에 관계가 존재할 가능성(신뢰도)을 평가하는 관계도 점수 기반 메커니즘을 도입하여 관계 탐색 공간을 희박화시킨다.
• 모델은 단일 프로퍼그레이션 내에서 각 검출된 관계의 시간적 스팬(시작 및 종료 타임스탬프)와 카테고리를 전체 영상 맥락을 활용해 예측한다.
• 공간적 및 시간적 특징을 인코딩하기 위해 이중 스트림 아키텍처를 사용하여 시간에 걸쳐 객체 간 상호작용을 공동으로 모델링한다.
• 시간적 스팬 예측은 영상의 시간 범위에 대해 상대적인 시작 및 종료 시간을 예측하는 회귀 헤드를 통해 수행된다.
• 객체 검출과 관계 예측을 엔드 투 엔드로 미분 가능한 방식으로 통합하여 공동 최적화를 가능하게 한다.
• 관계도 점수는 저신뢰도 객체 쌍을 필터링하여 계산 비용을 줄이되, 탐지 정확도를 손상시키지 않는다.

실험 결과

연구 질문

• RQ1 영상에서 관계 탐색 공간을 효과적으로 축소하면서도 탐지 정확도를 유지할 수 있는 방법은 무엇인가?
• RQ2 전체 영상 맥락을 활용할 경우 VidVRD에서 시간적 스팬 및 관계 카테고리 예측에 어떤 영향을 미치는가?
• RQ3 기존의 세그먼트 기반 또는 윈도우 기반 방법보다 관계 내용과 시간 지속 시간을 동시에 더 효율적으로 예측할 수 있는 통합 프레임워크를 설계할 수 있는가?
• RQ4 제안된 관계도 점수 기반 방법이 기존 방법에 비해 효율성과 효과성 면에서 얼마나 향상되는가?

주요 결과

• TSPN은 ImageNet-VidVDR 및 VidOR 벤치마크에서 모두 새로운 최신 기준 성능(SOTA)을 달성하여 기존 방법들을 크게 앞서간다.
• 유명한 세그먼트 기반 VidVRD 방법 대비 2배의 속도 향상을 보이며, 뛰어난 효율성을 입증했다.
• 전체 영상 맥락을 활용함으로써 관계의 시간적 국소화 정확도가 향상되어 상호작용이 발생하는 정확한 시점 예측이 가능해졌다.
• 관계도 점수 기반 메커니즘이 효과적으로 후보 관계 수를 줄여 시간 복잡도를 낮추면서도 탐지 품질에 영향을 주지 않았다.