[論文レビュー] Text-to-Image-to-Text Translation using Cycle Consistent Adversarial Networks

Satya Krishna Gorti, Jeremy Ma|arXiv (Cornell University)|Aug 14, 2018

Generative Adversarial Networks and Image Synthesis参考文献 11被引用数 23

ひとこと要約

この論文では、画像の忠実度とテキスト記述との整合性を向上させるために、GANを用いたサイクル整合性のあるテキストから画像へ、再びテキストへの翻訳フレームワークを提案している。生成画像上でキャプションネットワークを訓練し、実際のキャプションと生成キャプションの差を最小化することで、モード崩壊を低減し、意味的正確性を向上させた。サイクル整合性を用いることで、0.802のカラーリレバンススコアと、向上したインセプションスコアを達成した。

ABSTRACT

Text-to-Image translation has been an active area of research in the recent past. The ability for a network to learn the meaning of a sentence and generate an accurate image that depicts the sentence shows ability of the model to think more like humans. Popular methods on text to image translation make use of Generative Adversarial Networks (GANs) to generate high quality images based on text input, but the generated images don't always reflect the meaning of the sentence given to the model as input. We address this issue by using a captioning network to caption on generated images and exploit the distance between ground truth captions and generated captions to improve the network further. We show extensive comparisons between our method and existing methods.

研究の動機と目的

• テキストから生成される画像が入力テキスト記述を正確に反映していない問題に対処すること。
• サイクル整合性の訓練信号を導入することで、GANベースの画像生成におけるモード崩壊を緩和すること。
• 画像キャプションをフィードバックメカニズムとして活用することで、生成画像とテキストの整合性を向上させること。
• サイクル整合性が画像品質および意味的関連性の両面で向上するかを評価すること。

提案手法

• フレームワークは二段階のGANアーキテクチャを採用する：第1段階ではテキスト埋め込みから64x64の画像を生成し、第2段階でそれらを128x128の高解像度画像に精錬する。
• 別個の画像キャプションGANを、生成画像からキャプションを生成するために訓練する。テキスト埋め込みにはSkip-Thought Vectorsを用いる。
• 実際のキャプションと、モデル自身の画像から生成されたキャプションとの距離を最小化することで、サイクル整合性を強制する。
• 画像合成とキャプション生成の両ネットワークを、サイクル整合性損失を用いてエンドツーエンドに訓練し、整合性と多様性を向上させる。
• Adam最適化法（β₁=0.5, β₂=0.999）を用いた敵対的訓練を実施し、100次元のガウスノイズベクトルと2400DのSkip-Thought埋め込みを用いる。
• アブレーションスタディでは、キャプションネットワークの重みを固定して、サイクル損失が画像生成に与える影響を分離する。

実験結果

リサーチクエスチョン

• RQ1 画像キャプションを通じたサイクル整合性は、生成画像と入力テキスト記述との意味的整合性を向上させることができるか？
• RQ2 サイクル整合性を強制することで、テキストから画像へのGANにおけるモード崩壊は軽減されるか？
• RQ3 キャプションからのフィードバックは、画像品質および色の正確性をどの程度向上させるか？
• RQ4 サイクル整合性の導入は、インセプションスコアやカラーリレバンスといった定量的指標にどのような影響を与えるか？

主な発見

• サイクル整合性を有するモデルは、サイクル損失なしの0.259と比較して、カラーリレバンススコア0.802を達成し、色の正確性が顕著に向上した。
• インセプションスコアはサイクル整合性ありで2.985から2.545に低下したが、これは多様性と品質のトレードオフを示唆しているが、定性的な結果ではより良い整合性が得られた。
• サイクル整合性によりモード崩壊が軽減され、サイクル損失なしのベースラインと比較してより多様な画像が生成された。
• 推論時にキャプションネットワークの重みを固定した結果、サイクル損失がキャプションが固定された状態でも画像生成を向上させることを確認した。
• 定性的な結果から、サイクル整合性訓練により、入力テキストの意味的コンテンツ（例：花びらの色や形状）をよりよく反映した画像が生成された。
• 本手法により、テキストから画像へ、再びテキストへのエンドツーエンドの訓練が可能となり、キャプションをフィードバック信号として用いる可能性が示された。