[論文レビュー] Tagging like Humans: Diverse and Distinct Image Annotation

Baoyuan Wu, Weidong Chen+4 more|arXiv (Cornell University)|Mar 31, 2018

Image Retrieval and Classification Techniques参考文献 29被引用数 8

ひとこと要約

本稿では、意味的類似性を高めるために決定的点過程（DPPs）を活用し、サブセット間の多様性を確保するためにランダムノイズの摂動を用いることで、多様で特徴的な画像タグを生成する生成的対抗的モデルD2IA-GANを提案する。人間のアノテーションデータで訓練された本モデルは、定量的指標および人間評価の両面で最先端手法を上回り、冗長性が低く、より包括的で人間らしい画像記述を生成する。

ABSTRACT

In this work we propose a new automatic image annotation model, dubbed {\bf diverse and distinct image annotation} (D2IA). The generative model D2IA is inspired by the ensemble of human annotations, which create semantically relevant, yet distinct and diverse tags. In D2IA, we generate a relevant and distinct tag subset, in which the tags are relevant to the image contents and semantically distinct to each other, using sequential sampling from a determinantal point process (DPP) model. Multiple such tag subsets that cover diverse semantic aspects or diverse semantic levels of the image contents are generated by randomly perturbing the DPP sampling process. We leverage a generative adversarial network (GAN) model to train D2IA. Extensive experiments including quantitative and qualitative comparisons, as well as human subject studies, on two benchmark datasets demonstrate that the proposed model can produce more diverse and distinct tags than the state-of-the-arts.

研究の動機と目的

• 自動画像アノテーションにおける多様性と特徴性の欠如に起因する、重複した類似した意味的タグの生成という問題に対処すること。
• 複数の意味的レベルや画像的側面をカバーする、意味的に異なるが包括的なタグ集合を生成する人間のアノテータの行動をモデル化すること。
• 1枚の画像に対して、異なる意味的側面を捉えた複数の特徴的なタグサブセットを生成する生成モデルを開発すること。
• DPPサンプリング手順が微分不能であるため、非微分可能なDPPサンプリング処理に対処できるように、ポリシー勾配最適化を用いたGANフレームワークでモデルを訓練すること。
• タグの質と多様性を比較する定量的指標と人間被験者研究を通じて、モデルの優位性を検証すること。

提案手法

• モデルは、画像特徴量とランダムノイズベクトルを入力として、候補タグの事後分布へのマッピングを実行する深層ニューラルネットワークを用いる。
• タグ事後分布に対して決定的点過程（DPP）モデルを適用し、逐次的サンプリングによって意味的に異なるタグのシーケンスを生成する。
• 異なるランダムノイズベクトルを用いてDPPをサンプリングすることで、多様な意味的側面をカバーする複数の多様なタグサブセットを生成する。
• 生成器は、実際の人間アノテーションタグサブセットと生成されたタグサブセットを区別するディスクラミネータを備えたGANフレームワーク内で訓練される。
• DPPサンプリング操作が微分不能であるため、ポリシー勾配法を用いて生成器を最適化する。
• 本モデルは、IAPRTC-12およびESP Gameを含む大規模な人間アノテーションデータセット上でエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、人間のアノテータを模倣するように、複数のサブセットにわたり意味的に異なるだけでなく多様な画像タグを生成できるか？
• RQ2 ノイズ摂動付きのDPP統合は、ベースライン手法と比較して、タグの多様性と特徴性をどのように向上させるか？
• RQ3 人間評価によって検証された場合、D2IA-GANモデルは最先端のアプローチと比較して、より人間らしいタグセットをどれほど効果的に生成するか？
• RQ4 F1-sp指標は、タグサブセットの質に関する人間の好みを予測するのにどれほど信頼できるか？
• RQ5 意味的階層のモデリングは、生成されたタグの質と一貫性にどのような影響を与えるか？

主な発見

• ESP Gameデータセットにおいて、D2IA-GANは3タグ画像の64%、5タグ画像の62.96%でDIAを人間評価で上回った。
• F1-sp評価において、D2IA-GANは3タグ画像の66.67%、5タグ画像の65.43%でDIAを上回り、人間の判断と強い一貫性を示した。
• ESP Gameにおいて、人間評価とF1-spの一致度は63.73%に達し、自動指標の信頼性が裏付けられた。
• IAPRTC-12において、3タグサブセットでは人間評価とF1-sp評価の一致度が69.01%、5タグサブセットでは57.52%を記録した。
• DIAと比較して、D2IA-GANは意味的冗長性が低く、画像の意味的側面をより包括的にカバーする、より包括的で人間らしいタグセットを生成した。
• 補足的分析により、D2IA-GANが多段階の意味的記述（例：'church' 対 'building'）をよりよく捉え、人間のアノテータと同様に、画像の異なる要素に注目することが確認された。