[論文レビュー] Deep Convolutional Ranking for Multilabel Image Annotation

Yunchao Gong, Yangqing Jia+3 more|arXiv (Cornell University)|Dec 17, 2013

Advanced Image and Video Retrieval Techniques参考文献 37被引用数 269

ひとこと要約

本論文は、上位k個のランキング損失（特にWARP）を活用して、従来の特徴量よりもパフォーマンスを向上させる、マルチラベル画像アノテーションのためのディーブコンボリューショナルランクリングフレームワークを提案する。畳み込みニューラルネットワークをランキング目的で訓練した特徴量を用いることで、NUS-WIDEデータセットにおいて、リtrieval指標で先行手法よりも約10%高い最先端の結果を達成した。

ABSTRACT

Multilabel image annotation is one of the most important challenges in computer vision with many real-world applications. While existing work usually use conventional visual features for multilabel annotation, features based on Deep Neural Networks have shown potential to significantly boost performance. In this work, we propose to leverage the advantage of such features and analyze key components that lead to better performances. Specifically, we show that a significant performance gain could be obtained by combining convolutional architectures with approximate top-$k$ ranking objectives, as thye naturally fit the multilabel tagging problem. Our experiments on the NUS-WIDE dataset outperforms the conventional visual features by about 10%, obtaining the best reported performance in the literature.

研究の動機と目的

• 従来の視覚的特徴量の代わりに深層ニューラルネットワーク表現を用いることで、マルチラベル画像アノテーションのパフォーマンスを向上させること。
• さまざまなランクベースの損失関数が、深層ネットワークにおけるマルチラベル予測に与える影響を調査すること。
• 上位k個のランキング目的、特にWARPが、標準的なソフトマックスやペairwiseランク損失よりもマルチラベルタギングに適していることを示すこと。
• 大規模なNUS-WIDEマルチラベル画像ベンチマークで最先端のパフォーマンスを達成すること。

提案手法

• Krizhevskyら（2012）に類似した深層畳み込みニューラルネットワークアーキテクチャを採用し、5層の畳み込み層と3層の全結合層を有する。
• ペアワイズランク損失、交差エントロピー（Tagprop）、および上位k個ランク損失を含む、マルチラベル固有の損失関数を用いてネットワークを訓練する。
• クラスの不均衡やレアタグに対処できるように、上位k個の予測精度を最適化するため、重み付き近似ランク（WARP）損失を採用する。
• 269,000枚の画像と81個のマルチラベルタグを含むNUS-WIDEデータセットを、訓練および評価に使用する。
• ランダムサンプリングによる真のラベルのヒューリスティックな上限を用いて、k=3およびk=5におけるクラスごとの再現率・適合率の全体的な指標でパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 上位k個ランク損失を用いたディーブコンボリューショナルネットワークは、従来の視覚的特徴量よりもマルチラベル画像アノテーションで優れた性能を発揮できるか？
• RQ2 さまざまなランクベースの損失関数は、特にレアクラスのパフォーマンスにどのように影響するか？
• RQ3 マルチラベル設定において、WARP損失はソフトマックスやペアワイズランク損失よりも顕著な改善をもたらすか？
• RQ4 ネットワークのパフォーマンスはタグ頻度にどの程度依存しており、ランク損失はレアタグに対する性能の悪化を緩和できるか？

主な発見

• WARP損失を用いた本手法は、NUS-WIDEデータセットで報告された最高のパフォーマンスを達成し、リtrieval指標で従来の視覚的特徴量よりも約10%高い結果を示した。
• k=3の場合、WARPは52.03%のクラスごとの再現率と22.31%のクラスごとの適合率を達成し、ソフトマックス（48.24%再現率、21.98%適合率）を顕著に上回った。
• WARPは特に頻度の低いクラスにおいても、他の損失関数と比較して優れたクラスごとの再現率と適合率を示した。
• 結果から、WARPのような上位k個ランク目的は、標準的なソフトマックスやペアワイズランク損失よりもマルチラベルアノテーションに適していることが示された。
• ヒューリスティックな上限でさえ、モデルはk=5において全体の再現率97.53%、適合率36.16%を達成しており、優れた一般化性能を示した。