[論文レビュー] Leveraging Visual Question Answering to Improve Text-to-Image Synthesis

Stanislav Frolov, Shailza Jolly+2 more|arXiv (Cornell University)|Oct 28, 2020

Multimodal Machine Learning Applications参考文献 31被引用数 7

ひとこと要約

本論文は、VQA 2.0 データセットからの視覚的質問応答（VQA）データを活用することで、テキストから画像を生成する（T2I）合成の性能を向上させる手法を提案する。質問と回答のペアを追加の訓練入力として連結し、事前学習済みのVQAモデルを用いて補助損失を提供することで、画像の現実性とテキスト・画像の整合性が向上し、FIDは27.84から25.38に低下し、R-prec.は83.82%から84.79%に上昇する。

ABSTRACT

Generating images from textual descriptions has recently attracted a lot of interest. While current models can generate photo-realistic images of individual objects such as birds and human faces, synthesising images with multiple objects is still very difficult. In this paper, we propose an effective way to combine Text-to-Image (T2I) synthesis with Visual Question Answering (VQA) to improve the image quality and image-text alignment of generated images by leveraging the VQA 2.0 dataset. We create additional training samples by concatenating question and answer (QA) pairs and employ a standard VQA model to provide the T2I model with an auxiliary learning signal. We encourage images generated from QA pairs to look realistic and additionally minimize an external VQA loss. Our method lowers the FID from 27.84 to 25.38 and increases the R-prec. from 83.82% to 84.79% when compared to the baseline, which indicates that T2I synthesis can successfully be improved using a standard VQA model.

研究の動機と目的

• 複数のオブジェクトが含まれるシーンにおいて、依然として課題とされるテキストから生成された画像の現実性と意味的整合性を向上させること。
• 複数のオブジェクトを含む複雑な記述に対応する際、現在のT2Iモデルが写真のようなリアルな画像を生成する能力に制限があることを是正すること。
• 標準的なキャプション以外の、豊富で多様かつ詳細な監視信号を提供するVQA 2.0 データセットを活用し、訓練信号を強化すること。
• 補助的なVQA監視が、複雑なアーキテクチャの変更なしに画像品質と整合性を向上させられるかを検討すること。
• 標準的な事前学習済みVQAモデルをT2I訓練中に外部損失信号として用いる効果を調査すること。

提案手法

• VQA 2.0 データセットの質問と回答（QA）ペアを連結し、T2Iモデルの追加訓練サンプルとして生成する。
• AttnGANアーキテクチャを拡張し、生成された画像を処理する別途のVQAモデルブランチを導入する。
• 生成された画像が現実的であるだけでなく、QA入力と意味的に整合していることをガイドする外部VQA損失を導入する。
• QAペアから生成された画像について、標準的なAttnGAN損失（敵対的損失およびDAMSM）とVQA損失を同時に最適化するように訓練目的を拡張する。
• 生成器が敵対的損失（識別器から得られる）とDAMSM損失（画像・テキストの整合性）を最小化するとともに、VQA損失も最小化するように訓練する。
• 事前学習済みVQAモデルを用いて、QAペアから生成された画像のVQA損失を計算し、微細な視覚的接地を促進する補助信号を提供する。

実験結果

リサーチクエスチョン

• RQ1 VQA 2.0 の QA ペアを追加の訓練入力として活用することで、テキストから生成された画像の現実性と整合性が向上するか？
• RQ2 T2I訓練目的に外部VQA損失を追加することで、標準的なT2I訓練と比較して画像品質と意味的整合性が向上するか？
• RQ3 QAペアから生成された画像が、VQAモデルによっても正しく回答可能で、かつ現実的であることが求められる場合、T2Iモデルの性能はどのように変化するか？
• RQ4 単純に事前学習済みVQAモデルを統合することで、アーキテクチャの複雑さやレイアウトの監視なしにFIDとR-prec.が向上するか？
• RQ5 VQA 2.0 に含まれる、補完的な画像・回答ペアを含むQAペアの多様性が、モデルの微細な詳細への注目能力をどの程度向上させるか？

主な発見

• 提案手法により、Fréchet Inception Distance (FID) が27.84から25.38に低下し、画像品質と多様性の顕著な向上が示された。
• R-prec. が83.82%から84.79%に上昇し、生成画像と入力記述との間の意味的整合性が向上したことが確認された。
• QAペアから生成された画像におけるVQA精度が43.00%から43.75%に向上し、画像がより意味的に根拠があり、回答可能であることが裏付けられた。
• 全体の目的関数の再重み付けを行わずに外部VQA損失を単純に追加すると性能が低下するため、バランスの取れた最適化の必要性が示された。
• 敵対的現実性、画像・テキストの整合性（DAMSM）、およびVQA整合性を同時に最適化することで、最良の結果が得られた。
• 標準的な事前学習済みVQAモデルでさえ、AttnGANのような強力なT2Iバックボーンと統合することで、効果的な監視を提供できることが示された。