[論文レビュー] Socializing the Semantic Gap: A Comparative Survey on Image Tag Assignment, Refinement and Retrieval

Xirong Li, Tiberio Uricchio+4 more|UvA-DARE (University of Amsterdam)|Mar 28, 2015

Image Retrieval and Classification Techniques参考文献 121被引用数 140

ひとこと要約

本調査では、タグ関連性モデリングに基づく2次元分類体系を導入することで、ソーシャルメディアにおける画像タグ割り当て、精錬、検索に関する包括的分析を提案する。10k、100k、1Mのトレーニングセットを用いた標準化されたプロトコルで11の最先端手法を評価した結果、タグ＋画像ベースのインスタンス学習が他の手法を上回り、CNN特徴量が従来のBovW特徴量よりも顕著に性能を向上させた。

ABSTRACT

Where previous reviews on content-based image retrieval emphasize on what can be seen in an image to bridge the semantic gap, this survey considers what people tag about an image. A comprehensive treatise of three closely linked problems, i.e., image tag assignment, refinement, and tag-based image retrieval is presented. While existing works vary in terms of their targeted tasks and methodology, they rely on the key functionality of tag relevance, i.e. estimating the relevance of a specific tag with respect to the visual content of a given image and its social context. By analyzing what information a specific method exploits to construct its tag relevance function and how such information is exploited, this paper introduces a taxonomy to structure the growing literature, understand the ingredients of the main works, clarify their connections and difference, and recognize their merits and limitations. For a head-to-head comparison between the state-of-the-art, a new experimental protocol is presented, with training sets containing 10k, 100k and 1m images and an evaluation on three test sets, contributed by various research groups. Eleven representative works are implemented and evaluated. Putting all this together, the survey aims to provide an overview of the past and foster progress for the near future.

研究の動機と目的

• ソーシャルタグを意味的情報の源として活用することで、画像検索における意味的ギャップを解消すること。
• タグ関連性の使用に基づいて、既存の画像タグ割り当て、精錬、検索手法を分析・分類すること。
• 10k、100k、1Mの画像を含むトレーニングセットと3つのテストセットを用いた標準化されたベンチマークを確立することにより、最先端手法の公平な比較を可能にすること。
• 異なるデータモダリティ（タグ、画像、ユーザー情報）がタグ関連性学習に与える影響を評価すること。
• ソーシャル画像タギングタスクにおけるスケーラブルで信頼性の高い学習戦略を同定すること。

提案手法

• 情報の使用（タグ、画像、ユーザー）と学習戦略（インスタンスベース、モデルベース、伝達ベース）に基づいて手法を分類する2次元分類体系を提案する。
• 複数のトレーニングセットサイズと、異なる研究グループが共有した公開テストセットを備えた標準化された実験プロトコルを導入する。
• タグ関連性関数の評価に、インスタンスベース、モデルベース、伝達ベースの学習戦略を用いる。
• 従来のBOW（Bag-of-Words）特徴量の代わりに、CNNベースの視覚的特徴量を用いることで性能を向上させる。
• タグ、画像、ユーザー情報を同時にモデリングするため、テンソル解析を適用するが、規模が大きくなると計算コストが著しく増加する。
• モデルベース学習の向上を図るため、低品質またはノイズの多いソーシャルタグを除外するフィルタリング戦略を実装する。

実験結果

リサーチクエスチョン

• RQ1 視覚的および社会的情報（タグ、画像、ユーザー）のどの組み合わせが、最も効果的なタグ関連性推定をもたらすか？
• RQ2 インスタンスベース、モデルベース、伝達ベースの各学習戦略は、スケーラビリティとパフォーマンスの観点でどのように比較されるか？
• RQ3 ディープラーニングベースの視覚的特徴量は、従来のBOW特徴量と比較して、タグ割り当ておよび検索性能にどの程度向上効果をもたらすか？
• RQ4 トレーニングデータの品質はモデルベース学習にどの程度影響を及ぼし、どのフィルタリング戦略が最も効果的か？
• RQ5 複数タグクエリの使用が検索パフォーマンスに与える影響は何か？ また、n-gramのスパarsityはどのように緩和できるか？

主な発見

• タグ＋画像ベースのインスタンス学習手法、特にTagPropとTagVoteは、画像タグ割り当てにおいて最高のパフォーマンスを示し、MIRFlickrではMiAP 0.392、NUS-WIDEでは0.396を達成した。
• タグ検索においては、TagVoteが最高の全体的パフォーマンスを示し、ユーザーが提供したタグ（NUS-WIDEではMiAP 0.255）を上回った。
• 学習済みのタグ関連性を用いた画像検索では、Flickr55でMAP 0.881、NUS-WIDEで0.738を達成し、元のユーザーが提供したタグを用いた検索（それぞれMAP 0.595および0.489）を著しく上回った。
• BOW特徴量の代わりにCNN特徴量を用いることで、すべてのタスクで顕著なパフォーマンス向上が見られた。
• モデルベース手法はトレーニングデータの品質により敏感であり、効果的なフィルタリングが求められるが、インスタンスベース手法と比較して、大規模データセットではパフォーマンス向上が限定的になる傾向がある。
• RobustPCAのような伝達ベース手法はタグ精錬に適しているが、タグ、画像、ユーザーをテンソル解析で同時にモデリングする方法は、10万枚を超える画像では計算コストが著しく高くなる。