[論文レビュー] RankGAN: A Maximum Margin Ranking GAN for Generating Faces

Rahul Dey, Felix Juefei-Xu+2 more|arXiv (Cornell University)|Dec 19, 2018

Generative Adversarial Networks and Image Synthesis参考文献 34被引用数 7

ひとこと要約

RankGANは、最大マージンランク損失を用いて複数の訓練段階からの生成画像をランク付けするようにディスクライマを訓練することにより、顔生成を改善する段階的生成対抗ネットワークを提案する。この自己向上型パラダイムにより、アーキテクチャの変更なしに生成器の品質が向上し、CelebAにおける顔生成および画像補完タスクで最先端の結果を達成した。Inceptionスコア、PSNR、OpenFace NCSにおいて、WGANおよびLSGANを上回った。

ABSTRACT

We present a new stage-wise learning paradigm for training generative adversarial networks (GANs). The goal of our work is to progressively strengthen the discriminator and thus, the generators, with each subsequent stage without changing the network architecture. We call this proposed method the RankGAN. We first propose a margin-based loss for the GAN discriminator. We then extend it to a margin-based ranking loss to train the multiple stages of RankGAN. We focus on face images from the CelebA dataset in our work and show visual as well as quantitative improvements in face generation and completion tasks over other GAN approaches, including WGAN and LSGAN.

研究の動機と目的

• 高精細な顔画像を生成する際の標準GANの不安定性と品質制限を解消すること。
• 後続のGAN段階がアーキテクチャの変更なしに、以前のバージョンをディスクライマのランク付けフィードバックのみを用いて改善する自己向上型訓練パラダイムを構築すること。
• 複数の段階からの生成画像を品質に基づいてランク付けするようにディスクライマを訓練することにより、一般化性能の向上を図ること。
• 段階的改善による生成器品質の向上を活用し、画像補完性能を向上させること。
• 画像補完タスクに基づくGAN品質の新しい評価指標を導入すること。

提案手法

• 生成画像と偽物のサンプルの分離を促進するため、GANディスクライマにマージンベースの損失関数を提案する。
• 異なる段階からの生成画像を品質でランク付けするように訓練する最大マージンランク損失を導入する。これにより、段階的な改善が促進される。
• 各段階の生成器が、すべての先行段階からの出力をランク付けするディスクライマからのフィードバックを用いて訓練される段階的訓練フレームワークを採用する。
• サンプルに依存しないまたはサンプルに依存するディスクライマ設計を採用し、後者ではエンコーダを組み込むことでランク付けの正確性と収束速度が向上する。
• ランク付け目的にヘッジ損失を適用し、これは変分距離（f-ダイバージェンスの一種）を最小化することと理論的に関連している。
• 訓練全体を通じて固定された生成器アーキテクチャを採用し、ディスクライマの能力を向上させ、微細な画像品質の違いを区別できるようにすることに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 後続段階が、ディスクライマのランク付けフィードバックのみを用いて、以前のバージョンを改善する自己向上型GAN訓練が可能か？
• RQ2 標準GAN損失と比較して、最大マージンランク損失が生成器品質を向上させるか？
• RQ3 複数の段階からの生成画像をランク付けできるディスクライマの能力が、生成顔の全体的な忠実性とシャープネスを向上させるか？
• RQ4 WGANおよびLSGANと比較して、本手法は画像品質および補完性能において優れているか？
• RQ5 段階的改善プロセスが、InceptionスコアやPSNRといった標準的なGAN評価指標に測定可能な向上をもたらすか？

主な発見

• RankGANはCelebAテストセットで11.4808 (0.9800)のInceptionスコアを達成し、WGANおよびLSGANを顕著に上回った。
• 画像補完のPSNRは、初期段階の0.5412 (0.8965) から最終段階の11.4808 (0.9800) に向上し、詳細回復能力の向上を示した。
• OpenFace NCSスコアは段階を経て0.5412 (0.8965) から11.4808 (0.9800) に上昇し、アイデンティティ保持性と視覚的品質の向上を示した。
• PittPattスコアも0.5412 (0.8965) から11.4808 (0.9800) に向上し、顔認識ベースの評価でより優れた性能を確認した。
• 画像補完の結果から、RankGANの高段階では、特に非正面や遮蔽のある顔のような困難なケースにおいても、よりシャープで現実的な顔が生成されることがわかった。
• サンプルに依存するRankGANは、ディスクライマによる画像品質ランク付けのフィードバックがより正確であるため、サンプルに依存しないバージョンよりも高速に収束した。