[論文レビュー] Image Classification and Retrieval from User-Supplied Tags

Hamid Izadinia, Ali Farhadi+2 more|arXiv (Cornell University)|Nov 25, 2014

Advanced Image and Video Retrieval Techniques参考文献 21被引用数 4

ひとこと要約

本論文は、Flickrのノイズが多くフィルタリングされていないユーザー提供タグから直接学習する、耐性のある分類フレームワークを提案する。ノイズのあるラベルを処理するために確率的EMに基づく耐性のあるロジスティック回帰を用い、最小限の手動アノテーションを用いたキャリブレーション手順を実施する。ユーザーが自由に提供するタグのみを用いた学習が、高価な手動アノテーションと同等の性能を達成でき、キャリブレーションを施すとそのコストの1/200でそれを上回ることを示している。

ABSTRACT

This paper proposes direct learning of image classification from user-supplied tags, without filtering. Each tag is supplied by the user who shared the image online. Enormous numbers of these tags are freely available online, and they give insight about the image categories important to users and to image classification. Our approach is complementary to the conventional approach of manual annotation, which is extremely costly. We analyze of the Flickr 100 Million Image dataset, making several useful observations about the statistics of these tags. We introduce a large-scale robust classification algorithm, in order to handle the inherent noise in these tags, and a calibration procedure to better predict objective annotations. We show that freely available, user-supplied tags can obtain similar or superior results to large databases of costly manual annotations.

研究の動機と目的

• 手動で整備された画像アノテーションデータセットの高コストとスケーラビリティの限界を解決すること。
• オンラインフォト共有プラットフォームから提供されるフィルタリングされていないユーザー提供タグが、高価な手動ラベリングの代替として有効であるかを調査すること。
• ユーザーが提供するタグに内在するノイズ、一貫性の欠如、ばらつきを処理できる耐性のある学習手法を開発すること。
• 少量の手動アノテーションを用いてモデルの予測をキャリブレーションし、客観的な画像アノテーションに対する性能を向上させること。
• 画像分類、タグ予測、マルチタグ画像リtrievalのタスクにおいて、手法を評価すること。

提案手法

• ランダムに欠落した正例ラベルを処理するために、分類器の重みとタグ固有の外れ値確率を同時に学習する耐性のあるロジスティック回帰（RLR）モデルを提案する。
• Flickr 100 Million画像データセットのような大規模データセットにスケーリングするため、RLRを確率的期待最大化（EM）アルゴリズムで実装する。
• 予測を客観的アノテーションに一致させるために、少量の手動アノテーション（例：NUS-WIDE）を用いたキャリブレーション手順を導入する。
• F100Mデータセットをユーザー提供タグの事前学習に、NUS-WIDEをキャリブレーションおよび評価の目的で使用する。
• キャリブレーション済みモデルを用いて、タグ予測、客観的アノテーション、マルチタグクエリに基づく画像リtrievalを実行する。
• タグごとの平均精度、再現率、F1スコアを用い、リtrievalタスクでは正規化された精度（5）を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 フィルタリングされていないユーザー提供タグを用いて、手動での整備なしに大規模な画像分類が有効に可能か？
• RQ2 確率的EMを用いた耐性のあるロジスティック回帰は、ノイズが多くフィルタリングされていないタグの下で分類性能をどのように向上させるか？
• RQ3 少量の手動アノテーションを大規模なユーザータグ事前学習と組み合わせることで、モデル性能を顕著に向上させられるか？
• RQ4 本手法は、正確性とラベリングコスト効率の観点から、従来の手動アノテーション手法を上回るか？
• RQ5 標準的なロジスティック回帰と比較して、マルチタグ画像リtrievalタスクにおけるモデルの有効性はいかがなものか？

主な発見

• Flickr 100 Million（F100M）データセットをユーザー提供タグのみで学習させることで、NUS-WIDEのような小さな手動アノテーションデータセットで学習したモデルと同等の性能を達成する。
• F100Mで学習したモデルを、手動アノテーションの1/200の量の少量のアノテーションでキャリブレーションすることで、全手動データセットで学習した場合よりも、客観的アノテーション予測において優れた性能を達成する。
• 耐性のあるロジスティック回帰（RLR）は、タグ予測および画像リtrievalの両方において、標準的なロジスティック回帰（LR）を常に上回り、特に長いマルチタグクエリにおいて顕著な優位性を示す。
• キャリブレーション済みRLRモデルは、NUS-WIDEデータセットにおけるタグ予測で平均F1スコア71.9を達成し、このベンチマークで最先端の手法を上回る性能を示す。
• マルチタグ画像リtrievalにおいて、キャリブレーション済みRLRモデルは2タグクエリで正規化された精度（5）が11.0に達し、標準的なLRや他のベースラインを著しく上回る。
• 本手法により、手動アノテーションが存在しない状況でも、ユーザー提供タグのスケールと多様性を活用して、数千のタグについて高品質な画像分類およびリtrievalが可能になる。