[論文レビュー] Lightweight Generative Adversarial Networks for Text-Guided Image Manipulation

Bowen Li, Xiaojuan Qi+2 more|arXiv (Cornell University)|Jan 1, 2020

Image Processing Techniques and Applications被引用数 33

ひとこと要約

軽量なGANを導入し、単語レベルの判別器と単語レベルの監督を用いて自然言語の記述から画像を編集し、はるかに少ないパラメータで強力な操作を実現する。

ABSTRACT

We propose a novel lightweight generative adversarial network for efficient image manipulation using natural language descriptions. To achieve this, a new word-level discriminator is proposed, which provides the generator with fine-grained training feedback at word-level, to facilitate training a lightweight generator that has a small number of parameters, but can still correctly focus on specific visual attributes of an image, and then edit them without affecting other contents that are not described in the text. Furthermore, thanks to the explicit training signal related to each word, the discriminator can also be simplified to have a lightweight structure. Compared with the state of the art, our method has a much smaller number of parameters, but still achieves a competitive manipulation performance. Extensive experimental results demonstrate that our method can better disentangle different visual attributes, then correctly map them to corresponding semantic words, and thus achieve a more accurate image modification using natural language descriptions.

研究の動機と目的

• メモリ制約のあるデバイス上で自然言語による効率的な画像編集を動機づける。
• 生成器に対して細粒度の単語ベースのフィードバックを提供する単語レベルの判別器を開発する。
• 単語を視覚属性へマッピングすることによって、解離した属性操作を促進する。
• 最先端手法と比較して操作品質を犠牲にすることなくモデルの複雑さを削減する。

提案手法

• 単語領域の相関で per-word フィードバックを提供する単語レベルの判別器を導入する。
• 名詞と形容詞を supervise の対象として名詞句の品詞タグ付けを行い、単語をラベル付けする。
• m = w^T v のように単語-領域相関を計算し、正規化して注意のような重み α と β を得て、単語対応特徴量 n と各単語の相関 δ を導出する。
• テキストエンコーダー、2つの画像エンコーダ（Inception-v3 と VGG-16）、アップサンプリングと残差ブロック、注意機構を用いて軽量な生成器を訓練する。
• 生成器の目的関数では、無条件および条件付き敵対損失、知覚損失、単語レベル損失、および DAMSM テキスト-画像照合損失の組み合わせを使用する；判別器は無条件/条件付き敵対損失と単語レベルの supervison を最大化。
• 生成の異なる段階に対して、意味表現のバランスを取るために二重の image encoders（Inception-v3 と VGG-16）を活用する。

実験結果

リサーチクエスチョン

• RQ1 単語レベルの判別器は、軽量な生成器がテキストから画像を正確に操作するのに十分な細粒度の監視を提供できるか。
• RQ2 提案された単語レベルの supervison は、従来の単語レベルの判別器と比較して、属性の分離と意味語へのマッピングを向上させるか。
• RQ3 軽量モデルの性能（FID、精度、リアリズム）と効率は、標準データセット上の最先端手法 ManiGAN と比較してどうか。
• RQ4 複雑さの異なるデータセット（CUB vs COCO）に対しても、メモリ効率を維持しつつアプローチは堅牢か。

主な発見

• 提案手法は CUB（8.02）および COCO（12.39）で ManiGAN（CUB 9.75、COCO 25.08）よりも良いFIDを達成している。
• 提案手法は CUB（65.94 アキュラシー、57.82 リアリズム）および COCO（77.97 アキュラシー、67.53 リアリズム）で ManiGAN（CUB 34.06 アキュラシー、42.18 リアリズム、COCO 22.03 アキュラシー、32.47 リアリズム）より高い。
• 軽量モデルはパラメータ数を大幅に削減（NoP-G 18.5M; NoP-D 71.8M）し、 ManiGAN（NoP-G 41.1M; NoP-D 169.4M）より少なく、エポック実行時間（RPE）と推論時間（IT）も高速。
• 単語レベルの判別器を除去すると性能が低下し、属性と語の対応付けが崩れることがアブレーションで示される；他の単語レベルの判別器へ置換すると注意と属性マッピングの精度が低下。
• 定性的結果は、 ManiGAN と比較して属性変更がより明確で正確になり、テキストに依存しない内容の保存も向上。