[논문 리뷰] VRAG: Region Attention Graphs for Content-Based Video Retrieval

Kennard Ng, Ser-Nam Lim외 1명|arXiv (Cornell University)|2022. 05. 18.

Video Analysis and Summarization인용 수 6

한 줄 요약

이 논문은 영상의 공간적·시간적 관계를 포착하기 위해 영역 수준의 특징과 그래프 기반 어텐션 기반 기법을 사용하는 영상 수준 검색 프레임워크인 VRAG을 제안한다. 자기 어텐션과 그래프 컨볼루션을 활용한 영역 수준 표현을 통해 VRAG는 영상 수준 검색 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하면서 영상 수준 및 프레임 수준 방법 간의 성능 격차를 줄였으며, 샷 수준 변형은 영상 수준 기반 보다 더 빠른 속도에서 높은 정밀도를 제공한다.

ABSTRACT

Content-based Video Retrieval (CBVR) is used on media-sharing platforms for applications such as video recommendation and filtering. To manage databases that scale to billions of videos, video-level approaches that use fixed-size embeddings are preferred due to their efficiency. In this paper, we introduce Video Region Attention Graph Networks (VRAG) that improves the state-of-the-art of video-level methods. We represent videos at a finer granularity via region-level features and encode video spatio-temporal dynamics through region-level relations. Our VRAG captures the relationships between regions based on their semantic content via self-attention and the permutation invariant aggregation of Graph Convolution. In addition, we show that the performance gap between video-level and frame-level methods can be reduced by segmenting videos into shots and using shot embeddings for video retrieval. We evaluate our VRAG over several video retrieval tasks and achieve a new state-of-the-art for video-level retrieval. Furthermore, our shot-level VRAG shows higher retrieval precision than other existing video-level methods, and closer performance to frame-level methods at faster evaluation speeds. Finally, our code will be made publicly available.

연구 동기 및 목표

• 효율적인 영상 수준 검색 방법과 정확도가 높은 프레임 수준 검색 방법 간의 성능 격차를 해소하기 위해.
• 영역 수준 특징과 그래프 기반 어텐션을 사용하여 영상 내 세밀한 시공간 상호작용을 모델링하기 위해.
• 자기 어텐션과 그래프 컨볼루션을 통해 맥락 인식 영역 임베딩을 학습하여 영상 수준 검색을 향상시키기 위해.
• 영상 수준 및 프레임 수준 검색 사이의 중간 접근 방식으로 샷 수준 영상 표현을 탐색하기 위해.
• 프레임 수준 방법보다 더 빠른 추론 속도로 표준 영상 검색 벤치마크에서 최신 기술 수준 성능을 달성하기 위해.

제안 방법

• 각 영역은 영상의 프레임에서 추출된 R-MAC 영역 특징으로 구성된 그래프로 영상을 표현한다.
• 동일한 프레임 내 영역 간의 완전한 부분 그래프를 통해 공간 관계를 모델링하고, 인접한 프레임 간의 완전 연결 엣지를 통해 시간 관계를 모델링한다.
• 의미적 유사도에 기반해 영역 간 관계의 가중치를 동적으로 조정하기 위해 그래프 어텐션 네트워크(GATs)를 적용한다.
• 고정된 크기의 영상 수준 표현을 생성하기 위해 영역 임베딩에 대해 학습 가능한 어텐션 풀링을 사용한다.
• 영상 영역을 샷으로 분할하고 샷 임베딩 간 유사도를 집계하여 샷 수준 VRAG를 도입한다.
• 추론 성능 향상을 위해 평균 쿼리 확장(QE)을 적용한다.

실험 결과

연구 질문

• RQ1 그래프 어텐션를 통해 영역 수준 상호작용을 모델링하면 영상 수준 검색 성능이 향상되는가?
• RQ2 시공간 관계 모델링을 통합함으로써 영상 수준 방법이 프레임 수준 방법과의 성능 격차를 어느 정도 줄일 수 있는가?
• RQ3 VRAG를 사용한 샷 수준 표현은 더 빠른 추론 속도를 유지하면서 프레임 수준 방법에 가까운 검색 성능를 달성하는가?
• RQ4 표준 영상 검색 벤치마크에서 VRAG는 최신 기술 수준의 영상 수준 및 프레임 수준 방법과 비교해 어떻게 성능를 내는가?
• RQ5 영역 특징에 대한 자기 어텐션은 검색을 위한 맥락 인식 영상 임베딩 학습을 향상시키는가?

주요 결과

• EVVE 벤치마크에서 DSVR, CSVR, ISVR에 대해 각각 mAP 0.532, 0.548, 0.518을 기록하여 이전 영상 수준 방법보다 우수한 성능을 달성했다.
• FIVR5K에서 DSVR, CSVR, ISVR에 대해 각각 mAP 0.532, 0.548, 0.518를 기록하여 이전 영상 수준 방법을 모두 초월했다.
• FIVR200K에서 DSVR, CSVR, ISVR에 대해 각각 mAP 0.484, 0.470, 0.399를 기록하여 더 긴 추론 시간에도 불구하고 이전 영상 수준 방법을 능가했다.
• 샷 수준 VRAG 변형은 EVVE에서 DSVR, CSVR, ISVR에 대해 각각 mAP 0.709, 0.704, 0.636를 기록했으며, ViSiL f보다 ISVR에서 더 높은 정밀도를 확보했고 ViSiL보다 50배 이상 빠른 속도를 기록했다.
• EVVE에서 영상 수준 VRAG의 추론 시간은 12분에 불과하며, ViSiL의 18시간에 비해 훨씬 빠르며, 이는 전방 전파 횟수(2995회 대비 150만 회)가 적기 때문이다.
• 샷 수준 접근 방식은 영상 수준 및 프레임 수준 방법 간의 성능 격차를 줄였으며, 영상 수준 기반 보다 더 높은 정밀도를 확보하면서도 계산 비용은 극히 미미하게 유지했다.