[論文レビュー] Data-Efficient Instance Generation from Instance Discrimination

Ceyuan Yang, Yujun Shen+2 more|arXiv (Cornell University)|Jun 8, 2021

Handwritten Text Recognition Techniques参考文献 52被引用数 31

ひとこと要約

InsGen は GAN 判別器にインスタンス識別の補助タスクを追加し、実画像と合成画像の両方を用いてより識別力の高い表現を学習し多様な生成を促進し、データ効率を向上させる。

ABSTRACT

Generative Adversarial Networks (GANs) have significantly advanced image synthesis, however, the synthesis quality drops significantly given a limited amount of training data. To improve the data efficiency of GAN training, prior work typically employs data augmentation to mitigate the overfitting of the discriminator yet still learn the discriminator with a bi-classification (i.e., real vs. fake) task. In this work, we propose a data-efficient Instance Generation (InsGen) method based on instance discrimination. Concretely, besides differentiating the real domain from the fake domain, the discriminator is required to distinguish every individual image, no matter it comes from the training set or from the generator. In this way, the discriminator can benefit from the infinite synthesized samples for training, alleviating the overfitting problem caused by insufficient training data. A noise perturbation strategy is further introduced to improve its discriminative power. Meanwhile, the learned instance discrimination capability from the discriminator is in turn exploited to encourage the generator for diverse generation. Extensive experiments demonstrate the effectiveness of our method on a variety of datasets and training settings. Noticeably, on the setting of 2K training images from the FFHQ dataset, we outperform the state-of-the-art approach with 23.5% FID improvement.

研究の動機と目的

• 訓練データが不足している場合にGANのデータ効率を改善する動機付け。
• ディスクリミネータの補助タスクとしてインスタンス識別を提案し、無限の偽サンプルを活用。
• ノイズ撹乱された偽サンプルを用いた偽画像識別を可能にして識別力を高める。
• ジェネレータが非常に多様なサンプルを生成するようにループバック機構を作成。
• FFHQとAFHQで従来のデータ拡張ベースラインに対して顕著な改善を示す。

提案手法

• リアル画像用の GAN 判別器の上にインスタンス識別ヘッドを導入。
• 偽画像用の別のインスタンス識別ヘッドを追加し、偽サンプルに対するノイズ撹乱戦略を導入。
• 効率的なインスタンス識別訓練のために特徴量を蓄えるキュー（MoCo風）を使用。
• ループバック目的を適用し、偽インスタンスヘッドで個別に識別可能となるようサンプルを生成するようジェネレータを訓練（撹乱なし）。
• 標準の GAN 損失とインスタンス識別損失を重み付き項（λ パラメータ）で組み合わせ。
• コアアーキテクチャや augmentation 戦略を変更せずに StyleGAN2-ADA での実装を示す。

実験結果

リサーチクエスチョン

• RQ1 インスタンス識別は限られたデータ環境下で判別器の質を向上させ、それによってジェネレータの合成が改善されるか？
• RQ2 偽（生成）サンプルは識別表現を学ぶための有用な無限データソースを提供するか？
• RQ3 インスタンス識別中に偽画像を撹乱すると頑健性と全体的な合成品質が向上するか？
• RQ4 インスタンス識別を通じて多様な生成を強制することは、FID と視覚的忠実度の測定で実際の利得につながるか？

主な発見

方法	2K	10K	140K
PA-GAN	56.49	27.71	3.78
zCR	71.61	23.02	3.45
Auxiliary rotation	66.64	25.37	4.16
StyleGAN2	78.80	30.73	3.66
w/ Shallow mapping	71.35	27.71	3.59
w/ Adaptive dropout	67.23	23.33	4.16
w/ DiffAugment	24.32	7.86	-
w/ ADA	15.60*	7.29*	3.88
InsGen (Ours)	11.92	4.90	3.31

• InsGen は ADA を超える substantial な FID 減少をデータ規模に渡って実現（例：FFHQ 2K, 10K, 70K）。
• FFHQ の 2K, 10K, 70K の訓練画像で、InsGen は ADA ベースラインと比較してそれぞれ 11.92、4.90、3.31 の FID 改善を達成（表に示されている値）。
• AFHQ の結果は、猫、犬、野生生物カテゴリーで従来手法よりも低い FID を達成。
• アブレーションにより、偽識別を含まないインスタンス識別だけでも利得があり；偽識別とノイズ撹乱を追加することでさらに改善。
• 生成サンプル数を増やしてインスタンス識別に使用すると一貫して FID が改善され、無限の偽データの利点を示す。
• 判別器のロジットは実データ対偽データの分離が強化され、InsGen で訓練がより安定することを示す。