[論文レビュー] cGANs with Multi-Hinge Loss

Ilya Kavalerov, Wojciech Czaja+1 more|arXiv (Cornell University)|Dec 9, 2019

Advanced Image Processing Techniques参考文献 43被引用数 12

ひとこと要約

本稿では、ImageNet-128上で画像生成品質と多様性を向上させるために、複数の分類マージンを通じて生成器とキューバイがクラス固有の特徴を学習できるようにする、条件付きGANのためのマルチクラスヘッジ損失（MHGAN）を提案する。この手法は、最小限の計算コストで、半教師あり設定下で最先端のインceptionスコア（169.68）とFID（8.87）を達成し、ベースラインのGANよりも優れた性能を示す。また、パラメータを共有することで、画像の質と多様性の間で制御可能なトレードオフを実現している。

ABSTRACT

We propose a new algorithm to incorporate class conditional information into the critic of GANs via a multi-class generalization of the commonly used Hinge loss that is compatible with both supervised and semi-supervised settings. We study the compromise between training a state of the art generator and an accurate classifier simultaneously, and propose a way to use our algorithm to measure the degree to which a generator and critic are class conditional. We show the trade-off between a generator-critic pair respecting class conditioning inputs and generating the highest quality images. With our multi-hinge loss modification we are able to improve Inception Scores and Frechet Inception Distance on the Imagenet dataset. We make our tensorflow code available at https://github.com/ilyakava/gan.

研究の動機と目的

• 高品質で多様な画像を同時に生成し、正確なクラス条件付けを維持する条件付きGANの訓練の課題に対処すること。
• 教師ありおよび半教師あり設定の両方で、1つの生成器-分類器ペアを効果的に訓練できるように、ヘッジ損失のマルチクラス一般化を開発すること。
• 生成器とキューバイの更新がどの程度クラスに依存しているかを測定・制御し、画像の忠実度と多様性のバランスをとること。
• 補助分類器を備えた既存のGANと比較して、ImageNet-128における訓練の安定性と性能を向上させること。

提案手法

• 標準のヘッジ損失を複数クラスに一般化するマルチクラスヘッジ損失を提案し、キューバイが各クラスごとに複数の分類マージンを学習できるようにする。
• 分類予測のための補助全結合層を備えたプロジェクションディスクライマ構造を用い、生成器と分類器の共同学習を可能にする。
• 訓練の安定化と収束の改善を図るため、プロジェクションディスクライマにスペクトル正規化を適用する。
• 生成器1ステップごとに1回のディスクライマステップを実行するように訓練することで、複数回のDステップを要する手法と比較して、訓練を高速化する。
• プロジェクションディスクライマと補助分類器の間でパラメータを共有することで、パラメータ効率を高めるMHSharedGANを導入するが、その代わりに多様性が低下する。
• 2段階の訓練戦略を採用する：最初に標準GAN損失で事前学習を行い、その後マルチヘッジ損失に切り替えることで、インセプションスコアとFIDを急速に向上させる。

実験結果

リサーチクエスチョン

• RQ1 標準のヘッジ損失と比較して、マルチクラスヘッジ損失は条件付きGANにおける画像の質と多様性の両方を向上させることができるか？
• RQ2 ディスクライマと分類器の間でパラメータを共有すると、画像の質と多様性のトレードオフにどのような影響を与えるか？
• RQ3 提案されたマルチヘッジ損失は、ImageNet-128における完全教師ありおよび半教師あり設定の両方で最先端の性能を達成できるか？
• RQ4 生成器1ステップごとに1回のDステップを実行することは、訓練速度と性能にどのような影響を与えるか？
• RQ5 ACGAN や SAGAN と比較して、インセプションスコアとFIDの観点から、マルチヘッジ損失はどのように優れているか？

主な発見

• SAGANの訓練から切り替えた後、MHGANはImageNet-128でインセプションスコア169.68、FID 8.87を達成し、顕著な性能向上を示した。
• 半教師あり学習では、MHGAN-SSLは（インセプションスコア、FID）が（32.40、26.12）に達し、ACGAN-SSLと同等の性能を示したが、より高速に学習が進んだ。
• MHSharedGANのバージョンでは、パラメータを共有したことで生成器の多様性が急激に低下しており、分類と識別を密接に統合することはサンプルの多様性を損なう可能性があることを示している。
• MHSharedGANでは、プロジェクションディスクライマの固有値スペクトルがシグモイド型から指数関数的形状に変化しており、主に少数の支配的次元に収束していることを示している。
• 100万ステップ目で標準GAN損失からマルチヘッジ損失に切り替えたところ、わずか5,000イテレーションでインセプションスコアが250％上昇（47.79から169.68に）した。
• 半教師あり設定でも、分類器の検証精度（約40％）、自己精度（80％以上）が高く維持されており、生成と分類の両方の学習が効果的に行われていることを確認した。