[論文レビュー] KG-GAN: Knowledge-Guided Generative Adversarial Networks

Che-Han Chang, Chun-Hsien Yu+2 more|arXiv (Cornell University)|May 29, 2019

Generative Adversarial Networks and Image Synthesis参考文献 26被引用数 7

ひとこと要約

KG-GANは、制約関数を介してドメイン知識を統合することで、GANの多様性を向上させる知識誘導型生成対抗ネットワークを提案する。これにより、学習済みの分類から未学習の花のカテゴリを生成可能となる。ベースラインのGANおよびアブレーションを上回り、Oxford Flowersデータセットにおいて、意味的埋め込みを条件付きガイドとして用いることで、SOTAのFIDスコア（学習済み：0.1385、未学習：0.1386）を達成した。

ABSTRACT

Can generative adversarial networks (GANs) generate roses of various colors given only roses of red petals as input? The answer is negative, since GANs' discriminator would reject all roses of unseen petal colors. In this study, we propose knowledge-guided GAN (KG-GAN) to fuse domain knowledge with the GAN framework. KG-GAN trains two generators; one learns from data whereas the other learns from knowledge with a constraint function. Experimental results demonstrate the effectiveness of KG-GAN in generating unseen flower categories from seen categories given textual descriptions of the unseen ones.

研究の動機と目的

• 学習データが潜在的な分布を十分にカバーしていない場合に、GANが未学習のカテゴリのデータを生成するという制限を解消すること。
• トレーニングデータを超えて、ドメイン知識を探索のガイドとして統合することで、GANの多様性を向上させること。
• 知識ベースの制約を用いて生成を意味的に妥当な領域に制限することで、生成されたサンプルが現実的であることを保証すること。
• 画像生成におけるゼロショットおよびフェイントショット設定において、知識誘導型生成の有効性を示すこと。

提案手法

• KG-GANは2つの生成器を訓練する：G₁は実データを用いて学習済みカテゴリから学習し、G₂は知識制約を用いて未学習カテゴリを生成する。
• ドメイン知識は、画像のターゲットカテゴリの意味的埋め込みを予測する深層回帰ネットワークを用いて制約関数として形式化される。
• テキスト記述からの意味的埋め込みが条件付き入力として使用され、学習済みと未学習カテゴリの間の補間を可能にする。
• G₁とG₂の間で重みを共有する戦略を適用し、学習済みカテゴリから未学習カテゴリへの知識の転送を実現する。
• 損失関数には、生成画像をターゲットカテゴリの意味空間に一致させるためのスタイル埋め込み正則化項（ℒse）が含まれる。
• 訓練の安定性を確保するため、SN-GANと同様に、プロジェクションディスクラミネーターとスペクトル正規化が使用される。

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータに学習済みカテゴリしか存在しない場合、GANは未学習の花のカテゴリの現実的な画像を生成できるか？
• RQ2 ドメイン知識をGANに効果的に統合することで、多様で現実的で意味的に妥当なサンプルの生成をどのように促進できるか？
• RQ3 ワンホットラベルと比較して、意味的埋め込みで条件づけることで、生成品質と多様性が向上するか？
• RQ4 知識誘導型生成は、モード崩壊をどれほど軽減し、潜在的なデータ多様体のカバー範囲をどれほど向上させるか？
• RQ5 意味的埋め込み正則化損失（ℒse）の導入が、生成画像の忠実度と多様性にどのような影響を及えるか？

主な発見

• KG-GANは、学習済みカテゴリでSOTAのFIDスコア0.1385、未学習カテゴリで0.1386を達成し、SN-GAN（0.6922および0.6201）を著しく上回った。
• ワンホットエンコーディングと比較して、意味的埋め込みで条件づけることでFIDスコアが向上し、カテゴリラベルよりも構造化された知識の利点が示された。
• ℒseを除いたアブレーションでも良好な性能（FID 0.1412/0.1408）を示し、共有重みによる知識転送が合理的なゼロショット生成を可能にしていることが示された。
• 視覚的結果から、KG-GANはテキスト記述に基づいて正しい花の色を正確に生成しているが、形状や構造的詳細については、記述が一貫していないため困難を示している。
• 1カテゴリあたり800個のfastTextベクトルの平均化は、色情報の保持には優れているが、構造的および形状関連の特徴をぼやけさせてしまうため、現在の知識表現の限界が浮き彫りになった。