[論文レビュー] MatchGAN: A Self-Supervised Semi-Supervised Conditional Generative Adversarial Network

Jiaze Sun, Binod Bhattarai+1 more|arXiv (Cornell University)|Jun 11, 2020

Generative Adversarial Networks and Image Synthesis参考文献 37被引用数 5

ひとこと要約

MatchGANは、ラベル空間拡張を活用して合成トレーニング例を生成する自己教師付き半教師あり条件付きGANを提案する。これにより、最小限のラベル付きデータで性能を向上させることができる。未ラベル画像にランダムにサンプルされたターゲットラベルを割り当て、識別器で三つ組一致損失を訓練することで、MatchGANは最先端の結果を達成した—CelebAおよびRaFDにおいて、ラベル付きデータの20%のみを用いても、完全教師ありベースラインを上回った。

ABSTRACT

We present a novel self-supervised learning approach for conditional generative adversarial networks (GANs) under a semi-supervised setting. Unlike prior self-supervised approaches which often involve geometric augmentations on the image space such as predicting rotation angles, our pretext task leverages the label space. We perform augmentation by randomly sampling sensible labels from the label space of the few labelled examples available and assigning them as target labels to the abundant unlabelled examples from the same distribution as that of the labelled ones. The images are then translated and grouped into positive and negative pairs by their target labels, acting as training examples for our pretext task which involves optimising an auxiliary match loss on the discriminator's side. We tested our method on two challenging benchmarks, CelebA and RaFD, and evaluated the results using standard metrics including Fréchet Inception Distance, Inception Score, and Attribute Classification Rate. Extensive empirical evaluation demonstrates the effectiveness of our proposed method over competitive baselines and existing arts. In particular, our method surpasses the baseline with only 20% of the labelled examples used to train the baseline.

研究の動機と目的

• 顔属性および表情編集における主な障壁である、限られたラベル付きデータでの条件付きGANの訓練に取り組む。
• 従来の自己教師付き手法が幾何的画像拡張に依存しており、新しいクラス条件付き例を生成できないという制限を克服する。
• ラベル空間の操作に基づく新しい事前タスクを導入することで、半教師ありGAN訓練における一般化性能の向上と過学習の低減を図る。
• 未ラベルデータに合成ターゲットラベルを割り当て、判別的一致目的関数を訓練することで、有効なデータ拡張を実現する。

提案手法

• ラベル付きデータと同じ分布に従う未ラベル画像に、ラベル空間からランダムにサンプルされたターゲットラベルを割り当てることで、合成トレーニング例を生成する。
• ジェネレータおよび識別器の訓練のため、三つ組（ソース画像、ターゲットラベルを伴う生成画像、別のターゲットラベルを伴う別の生成画像）を構築する。
• 連結された埋め込みに学習された畳み込みヘッドを用いて、画像ペアを「正例」（同じターゲットラベル）または「負例」（異なるターゲットラベル）に分類する補助一致損失を導入する。
• 交差エントロピーをヒンジ損失やユークリッド距離損失の代わりに使用することで、より正確な確率推定と優れた識別性能を実現する。
• 識別器を、ラベル付きデータから得られる本物の画像三つ組（小規模なラベル付きデータセットから）と、未ラベルデータから得られる合成三つ組の両方で訓練することで、本物の例から合成例への知識蒸留を可能にする。
• 一致損失を標準的なGAN目的関数と統合することで、追加の監視なしに、分離可能でクラス条件付きの表現を学習できるようにする。

実験結果

リサーチクエスチョン

• RQ1 ラベル空間拡張に基づく自己教師学習は、最小限のラベル付きデータを用いた半教師あり設定下で、条件付きGANの性能を向上させることができるか？
• RQ2 ラベル空間操作による合成例を用いることで、幾何的拡張に基づく自己教師学習と比較して、より良い一般化性能と過学習の低減が達成できるか？
• RQ3 学習された埋め込み比較に基づく一致損失は、高精細で属性制御可能な画像の生成において、標準的なGAN損失を上回ることができるか？
• RQ4 MatchGANは、顔属性および表情編集タスクにおける大規模なアノテート済みデータセットの必要性をどの程度低減できるか？

主な発見

• CelebAでは、ラベル付きデータの20%での学習でも、MatchGANは完全教師ありベースライン（100%ラベル付きデータ）のFID 6.65を上回り、FID 6.34を達成した。
• RaFDでは、20%のラベル付きデータでFID 6.65を達成し、ベースラインの7.24（100%ラベル付きデータ）および回転ベース手法の6.57（100%ラベル付きデータ）を上回った。
• CelebAでは、20%のデータでInception Score（IS）が3.03に達し、ベースラインの3.01（100%データ）を上回った。これは、生成画像の品質と多様性の向上を示している。
• CelebAにおけるGAN学習分類精度は、MatchGANで87.43%（ベースライン87.29%）に達し、RaFDでは97.78%（ベースライン95.00%）に達した。これは、より優れた下流分類器性能を示している。
• 定性的な結果では、特に低データ環境下において、MatchGANはよりシャープで一貫性のある画像を生成し、アーチファクトが少ないことが示された。
• モデルの性能はラベル付きデータの増加に伴い著しく向上し、20%のラベル付きデータでのMatchGANの結果は、視覚的品質および属性の一貫性において、ベースラインの100%性能を達成または上回った。