[論文レビュー] Show, Tell and Discriminate: Image Captioning by Self-retrieval with Partially Labeled Data

Xihui Liu, Hongsheng Li+3 more|arXiv (Cornell University)|Mar 22, 2018

Multimodal Machine Learning Applications被引用数 31

ひとこと要約

本稿では、画像検索性能を学習信号として用いることで、記述の特徴を強化する自己検索ガイドド画像記述フレームワークを提案する。ラベル付きおよびラベルなし画像を活用する自己検索モジュールにより、テキストから画像への検索を介して記述の質を評価し、より一貫性があり多様性に富み、特徴的な記述を生成する。COCOおよびFlickr30kデータセットにおいて、再現率と新規性指標の両方を向上させ、最先端の結果を達成した。

ABSTRACT

The aim of image captioning is to generate captions by machine to describe image contents. Despite many efforts, generating discriminative captions for images remains non-trivial. Most traditional approaches imitate the language structure patterns, thus tend to fall into a stereotype of replicating frequent phrases or sentences and neglect unique aspects of each image. In this work, we propose an image captioning framework with a self-retrieval module as training guidance, which encourages generating discriminative captions. It brings unique advantages: (1) the self-retrieval guidance can act as a metric and an evaluator of caption discriminativeness to assure the quality of generated captions. (2) The correspondence between generated captions and images are naturally incorporated in the generation process without human annotations, and hence our approach could utilize a large amount of unlabeled images to boost captioning performance with no additional laborious annotations. We demonstrate the effectiveness of the proposed retrieval-guided method on COCO and Flickr30k captioning datasets, and show its superior captioning performance with more discriminative captions.

研究の動機と目的

• 従来の画像記述モデルが訓練データから頻出するフレーズを複製する、一般的でテンプレート的な記述を生じる問題に対処すること。
• 追加の人的アノテーションに依存せずに、生成された記述の特徴を向上させること。
• 画像とその生成された記述の自然な対応関係を活用して、大規模なラベルなし画像を効果的に活用すること。
• 検索性能に基づいて記述の質を評価する訓練信号を開発し、忠実性と一貫性の両方を向上させること。

提案手法

• フレームワークは、画像から記述を生成する記述モジュールと、生成された記述をクエリとして用いてテキストから画像への検索を実行する自己検索モジュールから構成される。
• 自己検索モジュールは、検索損失を介して微分可能な報酬信号を提供し、REINFORCEアルゴリズムを用いて逆伝播することで記述モデルを最適化する。
• ラベル付き画像では、正解記述と自己検索の両方を用いて報酬を計算する。ラベルなし画像では、自己検索のみを用いることで、半教師あり学習を可能にする。
• ハードネガティブサンプルは、正解記述との類似度に基づいて順序付けられたラベルなしデータからマイニングされる。最適な範囲は[100, 1000]と特定され、訓練に使用された。
• 本手法は二重の目的を有する：MLEによる記述忠実度の最大化と、検索に基づく強化学習による特徴の向上。
• モデルは、記述生成のための交差エントロピー損失と、強化学習信号としての負の検索損失を組み合わせた、エンドツーエンドの損失関数で訓練される。

実験結果

リサーチクエスチョン

• RQ1 自己検索性能は、記述の特徴を向上させる有効な自己教師信号として機能するか？
• RQ2 追加のアノテーションを必要とせずに、ラベルなし画像を画像記述に効果的に活用できるか？
• RQ3 検索に基づく報酬を組み込むことで、生成された記述の独自性と新規性が向上するか？
• RQ4 半教師あり記述設定において、ラベル付きデータとラベルなしデータの最適なバランスは何か？
• RQ5 ラベルなしデータからのハードネガティブマイニングは、特徴的な記述を生成する能力にどのように影響するか？

主な発見

• 提案手法は、COCOおよびFlickr30kで最先端の性能を達成し、COCO Karpathyテストスプリットにおいて33.0%のrecall@1を達成し、ベースラインモデルを著しく上回った。
• 生成された記述がより特徴的で、元の画像をより明確に区別できるようになることから、テキストから画像への検索性能が大幅に向上した。
• COCOでは、72.34%の独自記述と61.52%の新規記述を生成し、ベースラインの61.56%および51.38%に対して顕著な改善を示した。
• 最適なデータ比は、ラベル付き対ラベルなし画像の1:1であり、この比率で最も高い性能が観察された。
• 上位1000個の類似度が高いラベルなし画像（100番目から1000番目まで）からハードネガティブマイニングを行うと、過学習を避けるために最良の性能が得られた。
• 本モデルは、特徴の向上を著しく実現しながらも、忠実性を維持しており、従来のGANベースや多様性最適化手法で見られる、多様性と性能のトレードオフを回避した。