[논문 리뷰] VRFP: On-the-fly Video Retrieval using Web Images and Fast Fisher Vector Products

Xintong Han, Bharat Singh외 2명|arXiv (Cornell University)|2015. 12. 10.

Advanced Image and Video Retrieval Techniques참고 문헌 64인용 수 5

한 줄 요약

VRFP는 짧은 텍스트 쿼리로 검색한 웹 이미지를 사용하여 비디오 콘텐츠의 피셔 벡터 표현을 구축함으로써 실시간 유사도 매칭을 가능하게 하는 온더플라이 비디오 검색 프레임워크이다. 강력한 피셔 벡터 특징과 손실 없는 스파arsity 인식 내적 가속 알고리즘을 결합하여 TRECVID MED13 (16.4%), MED14 (9.67%), CCV (40.8%) 데이터셋에서 최신 기술 수준을 달성한다.

ABSTRACT

VRFP is a real-time video retrieval framework based on short text input queries, which obtains weakly labeled training images from the web after the query is known. The retrieved web images representing the query and each database video are treated as unordered collections of images, and each collection is represented using a single Fisher Vector built on CNN features. Our experiments show that a Fisher Vector is robust to noise present in web images and compares favorably in terms of accuracy to other standard representations. While a Fisher Vector can be constructed efficiently for a new query, matching against the test set is slow due to its high dimensionality. To perform matching in real-time, we present a lossless algorithm that accelerates the inner product computation between high dimensional Fisher Vectors. We prove that the expected number of multiplications required decreases quadratically with the sparsity of Fisher Vectors. We are not only able to construct and apply query models in real-time, but with the help of a simple re-ranking scheme, we also outperform state-of-the-art automatic retrieval methods by a significant margin on TRECVID MED13 (3.5%), MED14 (1.3%) and CCV datasets (5.2%). We also provide a direct comparison on standard datasets between two different paradigms for automatic video retrieval - zero-shot learning and on-the-fly retrieval.

연구 동기 및 목표

• 사전 정의된 개념 뱅크 없이 짧은 텍스트 쿼리만으로 실시간 비디오 검색을 가능하게 하는 것.
• 비디오 검색에서 노이즈가 많은 웹 기반 이미지 문제를 피셔 벡터를 강력한 표현 방식으로 사용하여 해결하는 것.
• 고차원 피셔 벡터 매칭을 가속화하여 실시간 성능을 달성하는 것.
• 텍스트 기반 비디오 검색 맥락에서 온더플라이 검색과 제로샷 러닝을 비교하는 것.
• 피셔 벡터가 정확성과 노이즈에 대한 강건성 면에서 다른 표현 방식을 능가함을 입증하는 것.

제안 방법

• 검색 엔진을 사용하여 주어진 텍스트 쿼리에 해당하는 웹 이미지를 검색하여 약한 지도 학습 훈련 세트를 구성한다.
• CNN 특징을 사용하여 쿼리 웹 이미지와 비디오 프레임을 모두 피셔 벡터로 표현하며, 각각을 순서 없는 이미지 컬렉션으로 간주한다.
• 스파arsity를 고려한 손실 없는 알고리즘을 사용하여 고차원 피셔 벡터 간 내적을 계산함으로써 곱셈 횟수를 스파arsity에 따라 제곱적으로 감소시킨다.
• 구분적 학습 없이도 성능 향상을 위해 단순한 재순서 정렬 전략을 적용한다.
• 피셔 벡터의 스파arsity를 활용하여 계산을 가속화하고 실시간 추론을 가능하게 한다.
• YouTube 썸네일을 사용하여 TRECVID 데이터셋에서 mAP를 추가로 향상시킨다.

실험 결과

연구 질문

• RQ1 피셔 벡터는 노이즈가 많은 웹 기반 이미지와 비디오 프레임을 비디오 검색에 효과적으로 표현할 수 있는가?
• RQ2 웹 이미지를 사용한 온더플라이 검색이 제로샷 러닝 대비 정확성과 효율성 면에서 어떻게 비교되는가?
• RQ3 고차원 피셔 벡터 간 내적 계산은 정밀도 손실 없이 가속화될 수 있는가?
• RQ4 제안된 방법은 표준 벤치마크에서 최신 기술 수준의 자동 비디오 검색 시스템을 초월하는가?
• RQ5 표현의 강건성과 스파arsity는 검색 성능에 어떤 영향을 미치는가?

주요 결과

• VRFP는 TRECVID MED13에서 16.4% mAP를 달성하여 이전 자동 방법보다 3.5%p 향상되었다.
• TRECVID MED14에서는 9.67% mAP를 기록하여 다음으로 우수한 방법보다 1.3%p 향상되었다.
• CCV 데이터셋에서는 40.8% mAP를 달성하여 이전 최신 기술 수준보다 5.2%p 향상되었다.
• 손실 없는 가속 알고리즘이 피셔 벡터의 스파arsity에 따라 예상 곱셈 횟수를 제곱적으로 감소시켜 실시간 매칭을 가능하게 하였다.
• 재순서 정렬 전략은 모든 데이터셋에서 검색 성능 향상을 이끌어내어 초기 순위 매칭과 후처리의 효과를 확인시켰다.
• YouTube 썸네일을 활용함으로써 MED13과 MED14에서 각각 0.39점과 0.32점의 mAP 향상을 기록하여 다양한 시각적 데이터의 가치를 입증하였다.