[논문 리뷰] Socializing the Semantic Gap: A Comparative Survey on Image Tag Assignment, Refinement and Retrieval

Xirong Li, Tiberio Uricchio외 4명|UvA-DARE (University of Amsterdam)|2015. 03. 28.

Image Retrieval and Classification Techniques참고 문헌 121인용 수 140

한 줄 요약

이 종합적 서베이는 태그 관련성 모델링을 기반으로 한 이중 차원 분류 체계를 도입하여 소셜 미디어에서 이미지 태그 할당, 보완 및 검색에 대한 종합적 분석을 제안한다. 10k, 100k, 1M 트레이닝 세트에서 표준화된 프로토콜을 사용해 11종의 최신 기법을 평가한 결과, 태그 + 이미지 기반 인스턴스 학습이 다른 방법들을 압도적으로 뛰어넘으며, 전통적인 BovW 특징에 비해 컨볼루션 신경망(CNN) 특징이 성능 향상에 크게 기여함을 보였다.

ABSTRACT

Where previous reviews on content-based image retrieval emphasize on what can be seen in an image to bridge the semantic gap, this survey considers what people tag about an image. A comprehensive treatise of three closely linked problems, i.e., image tag assignment, refinement, and tag-based image retrieval is presented. While existing works vary in terms of their targeted tasks and methodology, they rely on the key functionality of tag relevance, i.e. estimating the relevance of a specific tag with respect to the visual content of a given image and its social context. By analyzing what information a specific method exploits to construct its tag relevance function and how such information is exploited, this paper introduces a taxonomy to structure the growing literature, understand the ingredients of the main works, clarify their connections and difference, and recognize their merits and limitations. For a head-to-head comparison between the state-of-the-art, a new experimental protocol is presented, with training sets containing 10k, 100k and 1m images and an evaluation on three test sets, contributed by various research groups. Eleven representative works are implemented and evaluated. Putting all this together, the survey aims to provide an overview of the past and foster progress for the near future.

연구 동기 및 목표

• 소셜 태그를 의미 정보의 원천으로 활용하여 이미지 검색의 의미 갭을 해소하고자 한다.
• 태그 관련성 사용 여부에 기반해 기존의 이미지 태그 할당, 보완 및 검색 방법을 분석하고 분류하고자 한다.
• 10k, 100k, 1M 이미지 트레이닝 세트와 세 개의 테스트 세트를 포함한 표준화된 벤치마크를 구축하여 최신 기법 간 공정한 비교를 가능하게 하고자 한다.
• 다양한 데이터 모odal리티—태그, 이미지, 사용자 정보—가 태그 관련성 학습에 미치는 영향을 평가하고자 한다.
• 소셜 이미지 태깅 작업에 대해 확장 가능하고 신뢰할 수 있는 학습 전략을 규명하고자 한다.

제안 방법

• 태그, 이미지, 사용자 정보를 사용하는지와 학습 전략(인스턴스 기반, 모델 기반, 전도 기반)에 따라 분류할 수 있는 이중 차원 분류 체계를 제안한다.
• 다양한 트레이닝 세트 크기와 다양한 연구 그룹에서 공개한 테스트 세트를 포함한 표준화된 실험 프로토콜을 도입한다.
• 태그 관련성 함수 평가를 위해 인스턴스 기반, 모델 기반, 전도 기반 학습 전략을 적용한다.
• 성능 향상을 위해 전통적인 BOW (Bag-of-Words) 특징 대신 CNN 기반 시각적 특징을 사용한다.
• 태그, 이미지, 사용자 정보를 동시에 모델링하기 위해 텐서 분석을 적용하지만, 규모가 커지면 계산 비용이 과도하게 증가한다.
• 모델 기반 학습의 성능 향상을 위해 저품질 또는 노이즈가 있는 소셜 태그를 제거하는 필터링 전략을 구현한다.

실험 결과

연구 질문

• RQ1 시각적 및 사회적 정보(태그, 이미지, 사용자) 중 어떤 조합이 가장 효과적인 태그 관련성 추정을 이끌어내는가?
• RQ2 인스턴스 기반, 모델 기반, 전도 기반 학습 전략 간의 확장성 및 성능을 비교할 때 어떤 전략이 우월한가?
• RQ3 딥 러닝 기반의 시각적 특징이 기존의 BOW 특징에 비해 태그 할당 및 검색 성능에 얼마나 큰 영향을 미치는가?
• RQ4 트레이닝 데이터의 품질은 모델 기반 학습에 어떤 영향을 미치며, 어떤 필터링 전략이 가장 효과적인가?
• RQ5 다중 태그 쿼리를 사용할 경우 검색 성능에 어떤 영향을 미치며, n-gram 희소성 문제를 어떻게 완화할 수 있는가?

주요 결과

• 태그 + 이미지 기반 인스턴스 학습 기법, 특히 TagProp과 TagVote는 이미지 태그 할당에서 최고의 성능을 보였으며, MIRFlickr에서 MiAP 0.392, NUS-WIDE에서 0.396를 기록했다.
• 태그 검색의 경우 TagVote가 가장 높은 종합 성능을 보였으며, 사용자가 제공한 태그보다 뛰어나 (NUS-WIDE에서 MiAP 0.396 대비 0.255) 우월했다.
• 학습된 태그 관련성 기반으로 수행한 이미지 검색은 Flickr55에서 MAP 0.881, NUS-WIDE에서 0.738을 기록했으며, 원래 사용자 태그를 사용한 검색(MAP 0.595 및 0.489)에 비해 뚜렷이 뛰어났다.
• BOW 특징 대신 CNN 특징을 사용할 경우, 모든 작업에서 성능 향상이 뚜렷하게 관찰되었다.
• 모델 기반 방법은 트레이닝 데이터 품질에 더 민감하며 효과적인 필터링이 필요하지만, 인스턴스 기반 방법에 비해 더 큰 데이터셋에서는 성능 향상 폭이 줄어든다.
• RobustPCA와 같은 전도 기반 방법은 태그 보완에 더 적합하며, 태그, 이미지, 사용자 정보를 텐서 분석을 통해 공동으로 모델링하는 것은 10만 장 이상의 이미지에서는 계산 비용이 과도하게 증가한다.