[論文レビュー] Fine-Grained Image Captioning with Global-Local Discriminative Objective

Jie Wu, Tianshui Chen+4 more|arXiv (Cornell University)|Jul 21, 2020

Multimodal Machine Learning Applications参考文献 74被引用数 8

ひとこと要約

本稿では、類似画像からの区別を高めるためのグローバルな判別的制約と、まれで情報量の多いフレーズに注目するローカルな判別的制約を組み合わせることで、キャプションの正確性と判別能を向上させるグローバルローカル判別的目的関数を提案する。この手法は、MS-COCOで最先端の性能を達成し、ベースラインモデルに比べてキャプションの質と判別能が顕著に向上する。

ABSTRACT

Significant progress has been made in recent years in image captioning, an active topic in the fields of vision and language. However, existing methods tend to yield overly general captions and consist of some of the most frequent words/phrases, resulting in inaccurate and indistinguishable descriptions (see Figure 1). This is primarily due to (i) the conservative characteristic of traditional training objectives that drives the model to generate correct but hardly discriminative captions for similar images and (ii) the uneven word distribution of the ground-truth captions, which encourages generating highly frequent words/phrases while suppressing the less frequent but more concrete ones. In this work, we propose a novel global-local discriminative objective that is formulated on top of a reference model to facilitate generating fine-grained descriptive captions. Specifically, from a global perspective, we design a novel global discriminative constraint that pulls the generated sentence to better discern the corresponding image from all others in the entire dataset. From the local perspective, a local discriminative constraint is proposed to increase attention such that it emphasizes the less frequent but more concrete words/phrases, thus facilitating the generation of captions that better describe the visual details of the given images. We evaluate the proposed method on the widely used MS-COCO dataset, where it outperforms the baseline methods by a sizable margin and achieves competitive performance over existing leading approaches. We also conduct self-retrieval experiments to demonstrate the discriminability of the proposed method.

研究の動機と目的

• 既存の画像キャプションモデルが、保守的な学習目的と、正解キャプションにおける語の不均一な分布の影響を受けて、過度に一般的で判別性の低いキャプションを生成するという限界を解消すること。
• 判別能を高めるために、より具体的で希少な視覚的詳細を強調することで、微細で記述的なキャプションの生成を改善すること。
• グローバル（画像レベル）とローカル（フレーズレベル）のスケールで作用する二重制約機構を導入することで、多様性と正確性のバランスを取ること。
• MS-COCOにおける定量的評価と自己検索実験（キャプションの判別能を測定）を通じて、提案手法の有効性を示すこと。

提案手法

• グローバルな判別的制約は、ランキング損失を用いて実装され、生成されたキャプションが正解画像に近づき、他の類似画像からは遠ざかるようにする。
• ローカルな判別的制約は、TF-IDFスコアに基づいて個々の語やフレーズの報酬を再重み付けし、頻度が低く情報量の高いフレーズに高い報酬を与えることで、高頻度語へのバイアスを是正する。
• 二つの制約は、参照キャプションモデルの上に適用され、グローバルおよびローカルな判別的信号を組み合わせた修正された報酬関数を用いた強化学習によって実装される。
• 計算のオーバーヘッドを抑えるために、類似度行列とTF-IDF重みを事前計算することで、追加の制約にもかかわらず計算効率を確保する。
• 訓練パイプラインは、グローバルおよびローカル制約を段階的に適用する：まず類似画像を特定してランキング損失を適用し、次にフレーズレベルの報酬を再重み付けし、最後にバックプロパゲーションを実行する。
• 標準指標（CIDEr、BLEUなど）と自己検索精度を用いて評価し、キャプションの質と判別能を測定する。

実験結果

リサーチクエスチョン

• RQ1 グローバルな判別的制約は、類似画像間の区別能力を向上させ、キャプションを正解画像に引き寄せ、他の画像から遠ざけることができるか？
• RQ2 希少で情報量の多いフレーズに再重み付けを施すローカルな判別的制約は、微細で記述的なキャプションの生成を改善できるか？
• RQ3 グローバルおよびローカルな判別的制約を組み合わせることで、単独で用いる場合よりも、キャプションの正確性、多様性、判別能のバランスが改善されるか？
• RQ4 提案手法は、標準キャプション指標および自己検索性能において、既存の最先端手法と比較して優れているか？

主な発見

• 提案されたグローバルローカル判別的（GLD）目的関数は、MS-COCOのテスト-UNIDEFスプリットでCIDErスコア128.7を達成し、ベースラインのTDA+を2.80%上回る。
• TDA+GLDモデルの自己検索精度は87.4%に達し、生成キャプションの強い判別能を示している。
• アブレーションスタディにより、グローバルおよびローカル制約がそれぞれ独立して性能向上に寄与していることが確認され、グローバル制約は画像レベルの区別を向上させ、ローカル制約はフレーズレベルの詳細を強化している。
• 本手法は、過度に一般的なフレーズ（例：'a man' や 'sitting'）の生成を著しく減少させるとともに、より具体的で情報量の多い語（例：'an old man' や 'using a computer'）の含みを増加させた。
• 改善は見られるが、一部のケースでキャプションがやや過度に判別的になり、正解記述と一致しなくなる場合があるため、グローバル制約における適応的しきい値の導入が今後の課題である。