[論文レビュー] Personalizing Image Search Results on Flickr

Kristina Lerman, Anon Plangprasopchok+1 more|ArXiv.org|Apr 12, 2007

Image Retrieval and Classification Techniques参考文献 11被引用数 45

ひとこと要約

この論文では、ユーザーが生成したメタデータを活用してFlickrの画像検索結果をパーソナライズする2つの手法を提案している。具体的には、ソーシャルネットワークのコンタクトとタグのアノテーションを用いる。ユーザーのコンタクトやタグから推定される潜在的トピックに基づいて検索結果をフィルタリングすることで、不適切な結果を削減し、情報過多の状況下でもパーソナライズされた発見性を著しく向上させる。

ABSTRACT

The social media site Flickr allows users to upload their photos, annotate them with tags, submit them to groups, and also to form social networks by adding other users as contacts. Flickr offers multiple ways of browsing or searching it. One option is tag search, which returns all images tagged with a specific keyword. If the keyword is ambiguous, e.g., ``beetle'' could mean an insect or a car, tag search results will include many images that are not relevant to the sense the user had in mind when executing the query. We claim that users express their photography interests through the metadata they add in the form of contacts and image annotations. We show how to exploit this metadata to personalize search results for the user, thereby improving search performance. First, we show that we can significantly improve search precision by filtering tag search results by user's contacts or a larger social network that includes those contact's contacts. Secondly, we describe a probabilistic model that takes advantage of tag information to discover latent topics contained in the search results. The users' interests can similarly be described by the tags they used for annotating their images. The latent topics found by the model are then used to personalize search results by finding images on topics that are of interest to the user.

研究の動機と目的

• ユーザーが生成したメタデータを活用して、情報過多の状況下での画像検索のパーソナライズを実現すること。
• ユーザーのソーシャルネットワークとタグ付け行動を、個人の写真関心の指標として活用することで、検索精度を向上させること。
• ユーザーのタグから潜在的トピックを推定するための確率的モデルを構築すること。
• コンタクトベースとタグベースのフィルタリングが検索結果の関連性をどのように向上させるかを評価すること。
• 将来的なパーソナライゼーションシステムにおける、複数のメタデータソース（タグ、コンタクト、グループ）の統合を検討すること。

提案手法

• 信頼できるユーザーが投稿した写真がより関連性が高いと仮定し、ユーザーのコンタクトまたは拡張されたソーシャルネットワーク（コンタクトのコンタクト）に基づいてタグ検索結果をフィルタリングする。
• タグとユーザーのアノテーションが画像に同時に付与された共起関係から、潜在的トピックを推定するための確率的生成モデルを用いる。
• 各トピックがユーザーのタグ付け済み画像に繰り返し現れるテーマに対応するように、ユーザーの関心を潜在的トピックの分布としてモデル化する。
• 部分的に観測されたユーザー・タグ・画像データに対して、期待値最大化（EM）アルゴリズムを用いて確率的モデルを学習する。
• グループ情報を取り入れることで、ユーザーがタグ付けした画像からのトピック発見を向上させるために、著者トピックモデルを拡張する。
• 社会的信頼とコンテンツ類似性の両方の利点を活かすために、コンタクトベースのフィルタリングとトピックベースのフィルタリングを組み合わせる。

実験結果

リサーチクエスチョン

• RQ1 ユーザーのソーシャルコンタクトに基づいて画像検索結果をフィルタリングすることで、Flickrにおける検索精度が向上するか？
• RQ2 ユーザーがタグ付けした画像から推定される潜在的トピックは、キーワードベースのフィルタリングのみに比べて、検索結果のパーソナライズにさらに効果的か？
• RQ3 コンタクトベースとタグベースのパーソナライゼーション手法は、精度と関連性の観点でどのように比較されるか？
• RQ4 部分的なタグ付け行動とグループメンバーシップから、確率的モデルがユーザーの関心を効果的に推定できるか？
• RQ5 情報のないグループ（例：「Let’s Play Tag」）と一般的なタグはトピックモデリングにどのような役割を果たし、それらを効果的に除外するにはどうすればよいか？

主な発見

• ユーザーのコンタクトまたは拡張されたソーシャルネットワークに基づいて検索結果をフィルタリングすることで、不適切な結果を削減し、検索精度が著しく向上する。
• ユーザーのタグ付け行動から潜在的トピックを推定するタグベースのアプローチは、標準的なタグ検索よりも高い精度を達成しており、曖昧なクエリに対して特に顕著である。
• 確率的モデルは、ユーザーの関心と一致する一貫性のあるトピック（例：「動物園の動物」や「望遠レンズでの撮影」）を、ユーザーがタグ付けした画像から効果的に特定している。
• コンタクトベースとタグベースのフィルタリングを組み合わせることで、どちらかの手法単体よりも優れたパーソナライズが実現しており、社会的信頼とコンテンツベースの関連性の相乗効果が示された。
• この手法は、元のクエリを超えた発見を促進するために、関連キーワード（例：「tiger」に対して「bigcat」）の提案を効果的に行っている。
• 情報のないグループ（例：「Let’s Play Tag」）はトピックモデリングを妨げることが判明しており、このようなグループを自動で特定・除外する仕組みの導入が求められる。