[論文レビュー] Cycle Text-To-Image GAN with BERT

Trevor Tsue, Samir Sen+1 more|arXiv (Cornell University)|Mar 26, 2020

Multimodal Machine Learning Applications参考文献 14被引用数 7

ひとこと要約

本論文は、BERT埋め込みとサイクル学習メカニズムを統合したサイクルテキストto画像 GAN を提案し、テキスト記述からの画像生成を改善する。テキストto画像と画像toテキスト生成を共同で学習し、文脈を考慮した BERT 単語表現を用いることで、画像の質と多様性が向上し、Inception スコア（100エポック時 5.92 対 3.92）および人間評価（MOS 3.9 対 3.6）において、AttnGAN ベースラインを上回る結果を得た。

ABSTRACT

We explore novel approaches to the task of image generation from their respective captions, building on state-of-the-art GAN architectures. Particularly, we baseline our models with the Attention-based GANs that learn attention mappings from words to image features. To better capture the features of the descriptions, we then built a novel cyclic design that learns an inverse function to maps the image back to original caption. Additionally, we incorporated recently developed BERT pretrained word embeddings as our initial text featurizer and observe a noticeable improvement in qualitative and quantitative performance compared to the Attention GAN baseline.

研究の動機と目的

• GAN ベースのモデルにおけるドメインギャップと多様性の欠如を解消することで、テキストto画像生成を改善すること。
• 画像toテキスト再構成を学習するサイクル構造を組み込むことで、画像とテキストの整合性を向上させること。
• 文脈を考慮した BERT からの単語埋め込みを活用し、テキスト記述の意味的表現を向上させること。
• BERT およびサイクル学習の影響が画像の質、多様性、キャプションとの対応性に与える影響を評価すること。
• 定量的および定性的な指標を用いて、提案モデルを AttnGAN ベースラインと比較すること。

提案手法

• テキストto画像生成器と画像toテキスト識別器を同時に学習することで一貫性を強制する、サイクル GAN アーキテクチャを採用する。
• 生成された画像から元のキャプションを再構成するためのサイクル損失を導入し、テキストと画像特徴の整合性を向上させる。
• AttnGAN における標準的な単語埋め込み層を、より豊かな意味的表現を得られる BERT ベースの文脈依存埋め込みに置き換える。
• 2段階のスタックド GAN フレームワークを採用：第1段階で低解像度の画像特徴を生成し、第2段階でアテンション機構を用いてそれを精錬する。
• 生成器において、語レベル特徴に対して乗法的アテンションを適用し、画像合成時に関連する語に焦点を当てる。
• 画像の質と多様性を定量的および人間評価のために、Inception スコアと平均意見スコア（MOS）を用いる。

実験結果

リサーチクエスチョン

• RQ1 非文脈的埋め込みと比較して、BERT 埋め込みを組み込むことで、テキストto画像生成の質と多様性が向上するか？
• RQ2 画像toテキスト再構成を含むサイクル学習メカニズムは、画像とテキストの整合性および生成性能を向上させることができるか？
• RQ3 BERT とサイクル学習の組み合わせが収束速度および最終的なモデル性能に与える影響は何か？
• RQ4 提案モデルは、定量的指標および人間評価の両面で、AttnGAN ベースラインをどの程度上回るか？
• RQ5 BERT 埋め込みとサイクルアーキテクチャのどちらが、全体の性能向上に寄与しているか？

主な発見

• BERT 埋め込みを用いたサイクル GAN は、100エポックで Inception スコア 5.92 を達成し、同じエポックで AttnGAN ベースライン（3.92）を顕著に上回った。
• 50エポック時、サイクル GAN と BERT は Inception スコア 5.48 を達成したのに対し、AttnGAN は 2.78 にとどまり、学習がより速くかつ効果的であることが示された。
• 人間評価では、サイクル GAN と BERT の Mean Opinion Score（MOS）は 3.9 であり、AttnGAN の 3.6 よりも高い結果となった。これは、視覚的に優れた画像品質を示している。
• 視覚的検査では、サイクル GAN と BERT が、よりシャープで現実的で、色の正確性が高く、細部（例：くちばしの構造）が明確に再現された画像を生成した。
• MOS の高い値と、生成画像における意味的属性の良好な再構成から、モデルが画像とテキストの対応性を改善したことが裏付けられた。
• Inception スコアは100エポックを経ても上昇を続け、安定化する傾向を示しており、モデルがより長い訓練期間に利益を受けており、まだ収束していない可能性があることが示唆された。