[論文レビュー] Generate the corresponding Image from Text Description using Modified GAN-CLS Algorithm

Fuzhou Gong, Zigeng Xia|arXiv (Cornell University)|Jun 29, 2018

Generative Adversarial Networks and Image Synthesis参考文献 1被引用数 4

ひとこと要約

本稿では、元の GAN-CLS 目的関数に内在する理論的欠陥を是正する修正された GAN-CLS アルゴリズムを提案し、生成器が真のデータ分布を学習することを保証する。オックスフォード-102 および CUB データセットにおける実験により、特に嘴の形状 や色のパターンといった微細な詳細を捉える点で、より現実的でテキストに整合した画像が生成されることが示された。

ABSTRACT

Synthesizing images or texts automatically is a useful research area in the artificial intelligence nowadays. Generative adversarial networks (GANs), which are proposed by Goodfellow in 2014, make this task to be done more efficiently by using deep neural networks. We consider generating corresponding images from an input text description using a GAN. In this paper, we analyze the GAN-CLS algorithm, which is a kind of advanced method of GAN proposed by Scott Reed in 2016. First, we find the problem with this algorithm through inference. Then we correct the GAN-CLS algorithm according to the inference by modifying the objective function of the model. Finally, we do the experiments on the Oxford-102 dataset and the CUB dataset. As a result, our modified algorithm can generate images which are more plausible than the GAN-CLS algorithm in some cases. Also, some of the generated images match the input texts better.

研究の動機と目的

• 生成器の最適解が真のデータ分布と一致しないという GAN-CLS アルゴリズムにおける理論的不一致を是正する。
• GAN-CLS の目的関数を修正し、収束時に生成器出力がデータ分布と一致することを保証する。
• テキストから画像を生成するタスクにおいて、画像の品質とテキスト・画像の整合性を向上させる。
• 標準ベンチマークとしてのオックスフォード-102 および CUB データセットを用いて、修正されたアルゴリズムを検証する。
• 例えば、不一致画像ペアが摂動を受けるなど、分布シフトが生じた状況下での、修正モデルの頑健性を調査する。

提案手法

• 理論的分析を通じて、GAN-CLS 目的関数の欠陥を特定し、最適な生成器分布がデータ分布と一致しないことを示す。
• 収束時に $ f_g(y) = f_d(y) $ が成立するように、真のデータ分布に一致するサンプルを生成するよう制御する修正された目的関数を導出する。
• 不一致画像・テキストペアの寄与度を調整することで、GAN-CLS の損失関数を修正し、生成器出力がデータ分布に一致するようにする。
• 事前学習済みのテキストエンコーダーを用いた条件付き GAN フレームワークで、修正された GAN-CLS モデルを訓練する。
• マッチング済みおよび不一致ペアの両方を評価するディスクライマに、実際のマッチングペア、生成ペア、不一致ペアの損失成分を組み込む。
• オックスフォード-102 および CUB データセットに修正アルゴリズムを適用し、標準的な評価プロトコルと元の GAN-CLS との定性的比較を実施する。

実験結果

リサーチクエスチョン

• RQ1 GAN-CLS アルゴリズムは、真のデータ分布と一致する生成器に収束するのか？
• RQ2 GAN-CLS における分布不一致の理論的要因は何か？ そして、どのように是正できるか？
• RQ3 修正された目的関数は、生成器が真のデータ分布からのサンプルを生成できる能力を回復できるか？
• RQ4 修正された GAN-CLS は、元の GAN-CLS と比較して、画像・テキストの整合性を持つサンプルをどれほど効果的に生成できるか？
• RQ5 不一致ペアの分布が真のデータ分布と著しく異なる状況下でも、修正されたアルゴリズムは頑健か？

主な発見

• 理論的分析により、元の GAN-CLS アルゴリズムは真のデータ分布と一致する生成器に収束しないことが証明された。具体的には、$ f_g(y) = 2f_d(y) - f_{\hat{d}}(y) $ となるが、$ f_g(y) = f_d(y) $ ではない。
• 修正された GAN-CLS アルゴリズムにより、収束時に生成器が真のデータ分布を学習することが保証され、$ f_g(y) = f_d(y) $ が成立する。
• オックスフォード-102 データセットでは、修正アルゴリズムがより現実的で、はっきりとしたがくや色の表現が向上した花を生成した。
• CUB データセットでは、修正モデルが元の GAN-CLS よりも、嘴の形状、翼の色、頭部の模様といったより微細な詳細をより正確に捉えた。
• 例えば、セグメンテーション後に再構成された不一致ペアが与えられた場合、修正アルゴリズムは性能を維持するが、元の GAN-CLS は一貫性のある画像を生成できなかった。
• 修正アルゴリズムは、未学習のテキスト記述に対しても一般化が良く、現実的で意味的に整合性のある画像を生成できた。