[논문 리뷰] Unsupervised Visual and Textual Information Fusion in Multimedia Retrieval - A Graph-based Point of View

Gabriela Csurka, Julien Ah-Pine외 1명|arXiv (Cornell University)|2014. 01. 27.

Advanced Image and Video Retrieval Techniques참고 문헌 61인용 수 6

한 줄 요약

이 논문은 다중미디어 검색에서 시각적 및 텍스처적 정보의 비지도 통합을 위한 통합적인 그래프 기반 프레임워크를 제안한다. 이는 교차 미디어 유사도 및 랜덤 워크 기반 점수 계산 방법을 통합하며, 두 방법이 일반화된 모델의 특수한 경우임을 입증한다. 이로 인해 세 개의 실세계 데이터셋에서 검색 성능이 향상되고, 의미 필터링을 통해 계산 복잡도도 감소된다.

ABSTRACT

Multimedia collections are more than ever growing in size and diversity. Effective multimedia retrieval systems are thus critical to access these datasets from the end-user perspective and in a scalable way. We are interested in repositories of image/text multimedia objects and we study multimodal information fusion techniques in the context of content based multimedia information retrieval. We focus on graph based methods which have proven to provide state-of-the-art performances. We particularly examine two of such methods : cross-media similarities and random walk based scores. From a theoretical viewpoint, we propose a unifying graph based framework which encompasses the two aforementioned approaches. Our proposal allows us to highlight the core features one should consider when using a graph based technique for the combination of visual and textual information. We compare cross-media and random walk based results using three different real-world datasets. From a practical standpoint, our extended empirical analysis allow us to provide insights and guidelines about the use of graph based methods for multimodal information fusion in content based multimedia information retrieval.

연구 동기 및 목표

• 감독 신호 없이 시각적 및 텍스처적 모odal을 융합하여 콘텐츠 기반 다중미디어 정보 검색(CBMIR)의 의미 갭을 해소한다.
• 교차 미디어 유사도 및 랜덤 워크 점수 계산이라는 두 가지 주요 그래프 기반 융합 방법을 하나의 이론적 프레임워크로 통합한다.
• 텍스트 쿼리의 의미 필터링을 통해 그래프 기반 모델의 계산 및 저장 비용을 줄인다.
• 실세계 다중미디어 데이터셋에서 두 융합 방법의 성능을 경험적으로 평가하고 비교한다.

제안 방법

• 교차 미디어 유사도 및 랜덤 워크 기반 점수 계산을 특수한 경우로 일반화하는 통합적인 그래프 기반 프레임워크를 제안한다.
• 조건부 확률 p(v|u)를 사용한 의미 필터링을 적용하여 텍스트 유사도를 정밀하게 조정하고, 관련성과 복잡도를 개선한다.
• 시각적 특징으로 Fisher Vector(FV) 표현을 사용하고, 가우시안 혼합 모델(GMMs)을 활용한 시각적 어휘를 구성하며, SIFT 유사 ORH 및 국소 색상 통계(LCS)를 저수준 기술자로 사용한다.
• 시각적 유사도를 Fisher 커널을 통해 계산하고, 체올레스키 분해를 사용해 효율적인 내적 계산을 정규화한다.
• 노드가 다중미디어 항목을 나타내고, 간선이 시각적 및 텍스트 유사도를 코딩하는 다중모달 그래프를 구축한다.
• 공간 피라미드 풀링을 사용해 FV 표현을 이미지 영역(1x1, 1x3, 2x2)에 걸쳐 집계함으로써 시각적 특징의 공간적 맥락을 향상시킨다.

실험 결과

연구 질문

• RQ1 다중미디어 검색을 위해 비지도 방식으로 시각적 및 텍스처적 정보를 효과적으로 융합할 수 있는 방법은 무엇인가?
• RQ2 그래프 기반 융합에서 교차 미디어 유사도와 랜덤 워크 기반 점수 계산 간 이론적 관계는 무엇인가?
• RQ3 어휘 포함 관계 기반 의미 필터링이 유사도 추정 및 계산 부담 감소에 기여할 수 있는가?
• RQ4 교차 미디어 유사도 및 랜덤 워크 기반 융합 방법이 다양한 실세계 다중미디어 데이터셋에서 어떻게 성능을 내는가?
• RQ5 확장 가능하고 효과적인 그래프 기반 다중모달 융합 모델을 구축하기 위한 핵심 설계 원칙은 무엇인가?

주요 결과

• 제안된 통합 프레임워크는 교차 미디어 유사도 및 랜덤 워크 기반 방법이 일반화된 그래프 기반 융합 모델의 특수한 경우임을 입증한다.
• p(v|u)를 사용한 의미 필터링은 텍스트 유사도 추정을 크게 향상시키고 그래프 모델의 계산 부담을 감소시킨다.
• 공간 피라미드와 GMM 기반의 시각적 어휘를 사용한 피셔 벡터의 활용은 강력한 시각적 표현과 고품질의 유사도 점수를 제공한다.
• 세 개의 실세계 데이터셋에서 그래프 기반 융합 방법은 베이스라인 방법을 능가하며, 특히 랜덤 워크 방법이 검색 정확도에서 뛰어난 성능을 보였다.
• 텍스트 의미 필터링과 시각적 FV 표현의 통합은 2010년 위키백과 데이터셋에서 MAP 26.3%를 기록하여 표준 언어 모델을 능가했다.
• 의미 필터링을 통한 관련 연결 수 감소 덕분에 프레임워크는 성능을 유지하면서도 확장 가능한 검색을 가능하게 했다.