[論文レビュー] Speaking the Same Language: Matching Machine to Human Captions by Adversarial Training

Rakshith Shetty, Marcus Rohrbach+3 more|arXiv (Cornell University)|Mar 30, 2017

Multimodal Machine Learning Applications参考文献 44被引用数 32

ひとこと要約

本稿では、画像キャプション生成のための敵対的訓練フレームワークを提案する。このフレームワークは、教師データのキャプションを記憶するのではなく、人間が書いたキャプションの統計的分布に一致させるように、生成器を訓練することで、多様で人間らしいキャプションを生成する。Gumbel-Softmax再パrameterizationと、複数のキャプションを一度に評価するディスクライマを用いることで、モデルは顕著に高いキャプション多様性と人間のキャプション統計との整合性を達成するが、同時に最先端の精度を維持する。これは、一般化性能の向上とモード崩壊の低減を示している。

ABSTRACT

While strong progress has been made in image captioning over the last years, machine and human captions are still quite distinct. A closer look reveals that this is due to the deficiencies in the generated word distribution, vocabulary size, and strong bias in the generators towards frequent captions. Furthermore, humans -- rightfully so -- generate multiple, diverse captions, due to the inherent ambiguity in the captioning task which is not considered in today's systems. To address these challenges, we change the training objective of the caption generator from reproducing groundtruth captions to generating a set of captions that is indistinguishable from human generated captions. Instead of handcrafting such a learning target, we employ adversarial training in combination with an approximate Gumbel sampler to implicitly match the generated distribution to the human one. While our method achieves comparable performance to the state-of-the-art in terms of the correctness of the captions, we generate a set of diverse captions, that are significantly less biased and match the word statistics better in several aspects.

研究の動機と目的

• 画像キャプション生成における機械生成キャプションと人間が書いたキャプションとの間の多様性の欠如と分布不一致の問題を解決すること。
• 最先端モデルが一般的で頻出するキャプションに偏る問題を克服し、教師データの再現から人間らしいキャプション生成への訓練目的の転換を図ること。
• 画像キャプションの本質的な曖昧性を明示的にモデル化するため、1枚の画像に対して1つのキャプションではなく、複数の多様なキャプションを生成すること。
• ディスクライマが一度に複数の生成キャプションを評価する敵対的訓練を用いることで、生成キャプションの現実性と多様性を向上させること。
• 人間のキャプションのグローバルn-gram分布（uni-、bi-、tri-gram）に一致させることで、訓練データの断片の記憶を低減すること。

提案手法

• モデルは、生成器が1枚の画像に対して複数のキャプションを生成する条件付きGANフレームワークを採用し、ディスクライマは一括して生成キャプションと実際の人間のキャプションを比較評価する。
• 生成器の離散的単語生成プロセスにおける逆伝播を可能にするために、近似的なGumbelサンプリング再パラメータ化を用いる。
• ディスクライマは、実際の人間キャプションと生成キャプションを区別するように訓練され、生成器はディスクライマを欺くように最適化される。
• 訓練の安定化とモード崩壊の防止を目的に、特徴マッチング損失を訓練目的に含め、生成器が人間キャプションの統計的分布に一致するように促進する。
• 複数のキャプションはビームサーチまたはサンプリングにより生成され、ディスクライマはその一括セットを1つの入力として評価することで多様性を促進する。
• 生成器は敵対的損失と多様性促進目的の両方を組み合わせて訓練され、より豊かな視覚的表現を提供するResNet特徴量が使用される。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練を画像キャプションに効果的に適用することで、より多様で人間らしいキャプションを生成できるか？
• RQ2 教師データの監視に依存せずに、人間キャプションのグローバルn-gram分布に一致させるために、生成器をどのように訓練できるか？
• RQ3 ディスクライマが一度に複数の生成キャプションを評価することで、モード崩壊を防ぎ、キャプション多様性を向上させられるか？
• RQ4 提案手法が、訓練データから頻出するキャプション断片の記憶をどの程度低減できるか？
• RQ5 標準的なビームサーチと比較して、1枚の画像に対してより多様なキャプションセットを生成しつつ、高い精度を維持できるか？

主な発見

• 敵対的モデルは検証セットでMeteorスコア0.236を達成し、最先端のベースラインと同等の精度を示しており、キャプション精度が維持されていることが示された。
• 敵対的モデルの語彙サイズ（サンプリング時で2671語）は、ベースライン（1085語）よりも顕著に大きく、語彙バイアスの低減とレアワードのカバー拡大が示された。
• 敵対的モデルは72.53%の確率で新規のキャプションを生成したが、ビームサーチベースラインでは44.27%にとどまり、訓練データキャプションの記憶が顕著に低減された。
• 図7に示すように、全語彙頻度閾値において、敵対的モデルの語彙サイズ分布は人間キャプションとよりよく一致しており、語彙使用のバランスが取れていることが示された。
• 敵対的モデルでは、特にディスクライマが5つのキャプションを一度に評価する場合、多様性指標（Div-2、語彙サイズ、1画像あたりの多様性）が顕著に向上した。
• アブレーションスタディにより、複数キャプションの同時評価と特徴マッチング損失の両方が、モード崩壊の防止と多様性の向上に不可欠であることが確認された。