[논문 리뷰] Personalizing Image Search Results on Flickr

Kristina Lerman, Anon Plangprasopchok외 1명|ArXiv.org|2007. 04. 12.

Image Retrieval and Classification Techniques참고 문헌 11인용 수 45

한 줄 요약

이 논문은 사용자 생성 메타데이터인 소셜 네트워크 연락처와 태그 애너테이션을 활용하여 Flickr에서 이미지 검색 결과를 개인화하는 두 가지 방법을 제안한다. 사용자의 연락처 또는 태그에서 추론된 잠재 주제를 기반으로 검색 결과를 필터링함으로써, 관련성이 없는 결과를 줄이고 정보 과부하 상황에서 개인화된 탐색을 향상시켜 검색 정밀도를 크게 향상시킨다.

ABSTRACT

The social media site Flickr allows users to upload their photos, annotate them with tags, submit them to groups, and also to form social networks by adding other users as contacts. Flickr offers multiple ways of browsing or searching it. One option is tag search, which returns all images tagged with a specific keyword. If the keyword is ambiguous, e.g., ``beetle'' could mean an insect or a car, tag search results will include many images that are not relevant to the sense the user had in mind when executing the query. We claim that users express their photography interests through the metadata they add in the form of contacts and image annotations. We show how to exploit this metadata to personalize search results for the user, thereby improving search performance. First, we show that we can significantly improve search precision by filtering tag search results by user's contacts or a larger social network that includes those contact's contacts. Secondly, we describe a probabilistic model that takes advantage of tag information to discover latent topics contained in the search results. The users' interests can similarly be described by the tags they used for annotating their images. The latent topics found by the model are then used to personalize search results by finding images on topics that are of interest to the user.

연구 동기 및 목표

• 사용자 생성 메타데이터를 활용하여 정보 과부하 문제를 해결하고 이미지 검색 결과를 개인화하기 위해.
• 사용자의 소셜 네트워크와 태깅 행동을 개인 사진 관심사의 지표로 활용하여 검색 정밀도를 향상시키기 위해.
• 사용자 태그에서 잠재 주제를 추론하는 확률적 모델을 개발하여 개인화된 이미지 추천을 이끌기 위해.
• 연락처 기반 및 태그 기반 필터링의 효과성을 평가하여 검색 결과의 관련성 향상 여부를 확인하기 위해.
• 미래의 개인화 시스템을 위해 태그, 연락처, 그룹 등의 다중 메타데이터 소스 통합을 탐색하기 위해.

제안 방법

• 신뢰할 수 있는 사용자가 올린 사진이 더 관련성이 높다는 가정 하에, 사용자의 연락처 또는 확장된 소셜 네트워크(연락처의 연락처)를 기반으로 태그 검색 결과를 필터링한다.
• 태그와 사용자 애너테이션의 동시 발생을 기반으로 잠재 주제를 추론하기 위해 확률적 생성 모델을 사용한다.
• 각 주제가 사용자가 태그한 이미지에서 반복적으로 나타나는 주제와 대응하는 바탕으로, 사용자 관심사를 잠재 주제에 대한 분포로 모델링한다.
• 부분적으로 관측된 사용자-태그-이미지 데이터를 기반으로 확률적 모델을 훈련하기 위해 기대값 최대화(EM) 알고리즘을 적용한다.
• 그룹 정보를 통합하여 사용자-태그-이미지에서 주제 탐색을 향상시키기 위해 저자-주제 모델을 확장한다.
• 사회적 신뢰와 콘텐츠 유사성의 이점을 동시에 활용하기 위해 연락처 기반 필터링과 주제 기반 필터링을 조합한다.

실험 결과

연구 질문

• RQ1 사용자의 소셜 네트워크 연락처를 기반으로 이미지 검색 결과를 필터링하면 Flickr에서 검색 정밀도가 향상되는가?
• RQ2 사용자가 태그한 이미지에서 추론된 잠재 주제를 사용하면 키워드 기반 필터링만으로는 부족한, 더 효과적으로 개인화된 검색 결과를 얻을 수 있는가?
• RQ3 연락처 기반 및 태그 기반 개인화 방법은 정밀도와 관련성 측면에서 어떻게 비교되는가?
• RQ4 확률적 모델이 부분적인 태깅 행동과 그룹 소속 정보로부터 사용자 관심사를 효과적으로 추론할 수 있는가?
• RQ5 정보가 없는 그룹과 일반 태그는 주제 모델링에 어떤 역할을 하는가? 그리고 이를 어떻게 걸러낼 수 있는가?

주요 결과

• 사용자의 연락처 또는 확장된 소셜 네트워크를 기반으로 검색 결과를 필터링하면 관련 없는 결과를 줄이며 정밀도가 크게 향상된다.
• 사용자 태깅 행동에서 잠재 주제를 추론하는 태그 기반 접근법은 표준 태그 검색보다 더 높은 정밀도를 달성하며, 특히 모호한 쿼리에서 두드러진다.
• 확률적 모델은 사용자 관심사와 일치하는 일관된 주제(예: '동물원 동물', ' telephoto 촬영')를 사용자 태그 이미지에서 효과적으로 식별한다.
• 연락처 기반 및 태그 기반 필터링의 조합은 각각의 방법보다 성능이 뛰어나, 사회적 신뢰와 콘텐츠 기반 유사성의 상호보완적 이점이 있음을 시사한다.
• 이 방법은 원래 쿼리 외부로 관련 키워드(예: '호랑이'에 대해 'bigcat')를 제안함으로써 검색 범위를 효과적으로 확장한다.
• 정보가 없는 그룹(예: 'Let’s Play Tag')은 주제 모델링을 방해하는 것으로 밝혀져, 이러한 그룹을 자동으로 식별하고 걸러내는 것이 필요하다.