[논문 리뷰] Content-based Video Indexing and Retrieval Using Corr-LDA

Rahul Radhakrishnan Iyer, Sanjeel Parekh외 4명|arXiv (Cornell University)|2016. 02. 27.

Video Analysis and Summarization참고 문헌 31인용 수 20

한 줄 요약

이 논문은 음성 Bag-of-Words 특징을 사용하여 비디오를 의미적 텍스트 기술어로 자동으로 주석 처리할 수 있는 확률적 프레임워크인 Corr-LDA를 제안한다. 음성 콘텐츠와 텍스트 간의 의미적 대응을 모델링함으로써, SVM 기반 방법에 비해 검색 정확도가 향상되며, 주제 수가 증가함에 따라 퍼플렉서티는 감소하고 F-스코어는 증가함을 보여주며, 오직 음성 입력만을 사용하여도 비디오-텍스트 관계를 효과적으로 학습함을 입증한다.

ABSTRACT

Existing video indexing and retrieval methods on popular web-based multimedia sharing websites are based on user-provided sparse tagging. This paper proposes a very specific way of searching for video clips, based on the content of the video. We present our work on Content-based Video Indexing and Retrieval using the Correspondence-Latent Dirichlet Allocation (corr-LDA) probabilistic framework. This is a model that provides for auto-annotation of videos in a database with textual descriptors, and brings the added benefit of utilizing the semantic relations between the content of the video and text. We use the concept-level matching provided by corr-LDA to build correspondences between text and multimedia, with the objective of retrieving content with increased accuracy. In our experiments, we employ only the audio components of the individual recordings and compare our results with an SVM-based approach.

연구 동기 및 목표

• 비디오 검색에서 희박한 사용자 제공 태깅의 한계를 해결하기 위해 내재된 비디오 특징을 사용한 콘텐츠 기반 인덱싱을 가능하게 하기 위해.
• 비디오 콘텐츠와 텍스트 기술어 간의 의미적 대응을 학습하는 확률적 프레임워크를 개발하여 검색 정확도를 향상시키기 위해.
• 구조적 확률 모델을 사용하여 오직 음성만을 사용하는 특징(음성 Bag-of-Words)이 비디오 주석 처리 및 검색에 얼마나 효과적인지 평가하기 위해.
• Corr-LDA가 음성 콘텐츠를 활용하여 최소한의 인간 태깅으로도 경쟁 가능한 성능을 달성할 수 있음을 입증하기 위해.

제안 방법

• Cor르-LDA 모델은 비디오의 캡션에 속한 단어 d_m과 비디오 V_i 간의 조건부 확률 P(d_m|V_i)를 학습하도록 설계되어, 비디오의 자동 텍스트 주석 처리를 가능하게 한다.
• 프레임워크는 비디오 입력으로 음성 Bag-of-Words (BoW) 표현을 사용하며, 음성 특징을 다중모odal LDA 프레임워크 내의 감각적 단어로 간주한다.
• 주석 품질을 정량화하기 위해 퍼플렉서티를 사용하며, 낮은 값일수록 성능이 우수함을 의미한다. 이는 관측된 캡션의 가능도를 비디오 기반으로 계산한다.
• 모델의 주석 성능 평가를 위해 어휘에 속한 모든 단어에 대해 평균 단어당 정밀도, 재현도, F-스코어를 계산하며, 예측에 포함되지 않은 단어는 몬테카를로 샘플링을 사용한다.
• 모델은 주제 수를 다양하게 설정하여 학습(5, 50, 100)하고, 9654개의 고유 단어로 구성된 테스트 세트에서 성능을 평가한다.
• 사전에 구축된 사전의 어휘에 속해 있는 경우, 훈련 중에 보지 못한 쿼리에 대해서도 제로샷 추론을 지원한다.

실험 결과

연구 질문

• RQ1 Corr-LDA와 같은 확률 모델이 음성 콘텐츠와 텍스트 기술어 간의 의미적 대응을 효과적으로 학습할 수 있는가?
• RQ2 모델의 주제 수가 증가함에 따라 Corr-LDA의 성능, 특히 퍼플렉서티와 F-스코어 측면에서 어떻게 변화하는가?
• RQ3 시각적 또는 다중모달 특징을 사용하는 방법과 비교할 때, 오직 음성 특징만으로도 경쟁 가능한 비디오 인덱싱 및 검색 성능를 달성할 수 있는가?
• RQ4 특히 훈련 어휘 외부에 있는 쿼리어도 모델이 얼마나 잘 일반화되는가?

주요 결과

• 퍼플렉서티는 주제 수가 5개일 때 134.4591에서 100개일 때 127.0357로 감소하여, 주제 수가 많아질수록 주석 품질 향상이 확인되었다.
• F-스코어는 주제 수가 5개일 때 0.03027에서 100개일 때 0.05126으로 증가하여, 주제 수가 많아질수록 주석 성능 향상이 확인되었다.
• 평균 단어당 정밀도와 재현도 역시 주제 수 증가에 따라 향상되었으며, Corr-LDA-100은 각각 0.05537의 정밀도와 0.04844의 재현도를 기록했다.
• 오직 음성 특징만을 사용하여도 경쟁 가능한 성능를 달성하여, 음성만으로도 효과적인 콘텐츠 기반 비디오 검색이 가능함을 시사한다.
• 희귀 또는 존재하지 않는 단어에 대해 몬테카를로 샘플링을 적용함으로써, 낮은 빈도의 경우에도 정밀도 및 재현도 지표의 안정적인 평가가 가능했다.