[論文レビュー] Love Thy Neighbors: Image Annotation by Exploiting Image Metadata

Justin Johnson, Lamberto Ballan+1 more|arXiv (Cornell University)|Aug 30, 2015

Image Retrieval and Classification Techniques参考文献 42被引用数 48

ひとこと要約

本稿では、ユーザーのタグ、グループ、セットなどの画像メタデータを活用して、関連する画像の意味的近傍を非パrametricに構築し、深層畳み込みニューラルネットワークを用いて多ラベル画像アノテーションを向上させる手法を提案する。本モデルは、NUS-WIDEで最先端の性能を達成し、訓練時とテスト時の語彙が完全に不一致であっても、異なるメタデータタイプに対して強固に一般化可能である。

ABSTRACT

Some images that are difficult to recognize on their own may become more clear in the context of a neighborhood of related images with similar social-network metadata. We build on this intuition to improve multilabel image annotation. Our model uses image metadata nonparametrically to generate neighborhoods of related images using Jaccard similarities, then uses a deep neural network to blend visual information from the image and its neighbors. Prior work typically models image metadata parametrically, in contrast, our nonparametric treatment allows our model to perform well even when the vocabulary of metadata changes between training and testing. We perform comprehensive experiments on the NUS-WIDE dataset, where we show that our model outperforms state-of-the-art methods for multilabel image annotation even when our model is forced to generalize to new types of metadata.

研究の動機と目的

• 画像メタデータからの文脈的情報を活用して、多ラベル画像アノテーションを改善すること。
• 訓練時とテスト時のメタデータ語彙が変化する際に失敗するパrametricモデルの限界を解消すること。
• 推論時において、異なる種類のメタデータ（例：タグ、グループ、セット）間で一般化を可能にすること。
• 訓練時とテスト時のメタデータ語彙が完全に不一致であっても、高い性能を維持すること。

提案手法

• ユーザーのタグ、グループ、セットなどのメタデータに基づき、ジャカード係数を用いて非パrametricに画像近傍を構築する。
• 深層畳み込みニューラルネットワークが、ターゲット画像の視覚的特徴とメタデータに基づく近傍の特徴を統合する。
• 信頼性と一貫性に基づき、画像とその近傍への依存度を動的にバランスする注意重みを学習する。
• 近傍はメタデータのみを用いて構築され、メタデータの意味的性質をパrametricにモデル化しない。
• メタデータタイプに依存しないため、異なるタイプ間での一般化が可能（例：訓練時にタグ、テスト時にセットを使用）。
• アブレーションを通じてハイパーパramータの感度を分析し、近傍サイズやランクに対して頑健であることを示した。

実験結果

リサーチクエスチョン

• RQ1 画像メタデータを非パrametricに用いて、意味的に意味のある画像近傍を構築し、多ラベルアノテーションを改善できるか？
• RQ2 あるメタデータタイプで学習したモデルが、テスト時に異なるメタデータタイプに一般化できるか？
• RQ3 訓練時とテスト時のメタデータ語彙が不一致である場合、モデルの性能はどの程度か？
• RQ4 特に分布シフトの下でも、最先端の手法を上回る性能を示せるか？

主な発見

• ユーザーのタグを用いて近傍を構築した場合、NUS-WIDEでmAP Lが52.78 ± 0.34という最先端の性能を達成した。
• 訓練時とテスト時のタグ語彙に0%の重複があっても、視覚的情報のみのベースライン（45.78 ± 0.34）およびMcAuley & Leskovecの手法を上回った。
• 訓練時にタグ、テスト時にセットを用いた場合、mAP Lは52.21 ± 0.29を達成し、視覚的情報のみのベースラインを上回った。
• メタデータタイプ間での一般化が可能である：訓練時にタグ、テスト時にグループを使用した場合、mAP Lは50.32 ± 0.28を達成し、依然として視覚的情報のみのベースラインを上回った。
• 語彙の重複率が低下しても性能は徐々に低下するが、0%の重複でも依然として高い性能を維持した。
• 近傍サイズの影響は限定的であり、10番目の近傍を過ぎると性能が飽和する傾向にあり、近傍順位に対して頑健であることが示された。