[論文レビュー] ChatPainter: Improving Text to Image Generation using Dialogue

Shikhar Sharma, Dendi Suhubdy+3 more|arXiv (Cornell University)|Feb 22, 2018

Multimodal Machine Learning Applications参考文献 31被引用数 78

ひとこと要約

ChatPainterは対話文脈をキャプション条件付きの画像生成に追加し、キャプションのみモデルと比較してMS COCOでインセプションスコアが高く、画像品質が向上する。

ABSTRACT

Synthesizing realistic images from text descriptions on a dataset like Microsoft Common Objects in Context (MS COCO), where each image can contain several objects, is a challenging task. Prior work has used text captions to generate images. However, captions might not be informative enough to capture the entire image and insufficient for the model to be able to understand which objects in the images correspond to which words in the captions. We show that adding a dialogue that further describes the scene leads to significant improvement in the inception score and in the quality of generated images on the MS COCO dataset.

研究の動機と目的

• 複雑な場面をより説明するために対話を含むキャプションでテキストから画像生成を改善する動機づけ。
• 対話条件付き生成がキャプションのみのベースラインと比較してMS COCO上でより高品質な画像を生み出すことを実証する。
• conditioning augmentation メカニズムを介して対話を統合し、2段階のセットアップで訓練してStackGANを拡張する。

提案手法

• StackGANを二段階の生成器と識別器アーキテクチャで拡張する。
• キャプションを事前訓練済みキャプションエンコーダで、対話を非再帰的Skip-Thoughtまたは再帰的双方向LSTMエンコーダのいずれかでエンコードする。
• キャプションと対話の埋め込みを連結し、Conditioning Augmentation (CA)モジュールを通してmuとsigmaから条件変数 ĉ をサンプリングする。
• Stage-Iは z と ĉ0 を用いて64x64画像を生成; Stage-IIはStage-Iの出力と結合された ĉ を用いて256x256へ改良する。
• real image-caption-dialogue triplets 対する fake pairs を用いるマッチング対応識別器で訓練し、敵対的損失に加え条件変数のKL正則化を最適化する。
• 非再帰的および再帰的対話エンコーダの両方を用いて、画像品質への影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 対話説明をキャプションとともに導入することで、MS COCO で生成画像の品質は改善されるか。
• RQ2 対話の含有は、従来のキャプションのみモデルと比較して inception score のような標準的な画像合成指標にどのような影響を与えるか。
• RQ3 非再帰的対話エンコーダと再帰的対話エンコーダの利用が生成性能に与える影響はどうか。
• RQ4 ChatPainterフレームワークを既存のキャプションから画像へのモデルに統合してエンドツーエンドの改善を得られるか。

主な発見

• 対話を含むChatPainterはキャプションのみのStackGANベースラインよりもインセプションスコアが高い。
• 非再帰的ChatPainter: 9.43±0.04; 再帰的ChatPainter: 9.74±0.02 on MS COCO test set (Inception Score).
• 従来手法との比較：Reed et al. (2016a) 7.88±0.07 および StackGAN 8.45±0.03 に対し、ChatPainterは顕著な改善を示し、文献内の文脈として AttnGAN および AttnGAN (Xu et al., 2017) はそれぞれ higher scores（11.46±0.09 および 25.89±0.47）を達成。
• 対話条件付きChatPainterはキャプションから画像へのモデルに対する直交的な強化として追加できる。
• 再帰的対話エンコーダは一般に非再帰的エンコーダより高いインセプションスコアを生み出し、対話表現がより良いため。