[論文レビュー] Self-Supervised GAN to Counter Forgetting

Ting Chen, Xiaohua Zhai+1 more|arXiv (Cornell University)|Oct 27, 2018

Domain Adaptation and Few-Shot Learning参考文献 22被引用数 8

ひとこと要約

本論文では、回転に基づく自己教師付き損失をディスクラミネーターに追加することで、継続的 GAN 学習におけるディスクラミネーターの忘却を軽減する自己教師付き GAN を提案する。ラベルなしで表現学習を向上させ、条件付き GAN と同等の性能を達成し、標準 GAN よりも下流の画像分類タスクで優れた性能を示す。

ABSTRACT

GANs involve training two networks in an adversarial game, where each network's task depends on its adversary. Recently, several works have framed GAN training as an online or continual learning problem. We focus on the discriminator, which must perform classification under an (adversarially) shifting data distribution. When trained on sequential tasks, neural networks exhibit \emph{forgetting}. For GANs, discriminator forgetting leads to training instability. To counter forgetting, we encourage the discriminator to maintain useful representations by adding a self-supervision. Conditional GANs have a similar effect using labels. However, our self-supervised GAN does not require labels, and closes the performance gap between conditional and unconditional models. We show that, in doing so, the self-supervised discriminator learns better representations than regular GANs.

研究の動機と目的

• データ分布の変化に伴いディスクラミネーターの性能が低下する継続的 GAN 学習におけるディスクラミネーターの災難的忘却問題に対処すること。
• ラベルの欠如により通常は条件付き GAN よりも劣る無条件 GAN の表現学習を向上させること。
• ラベルや明示的なメモリリプレイを必要とせずに、条件付き GAN と無条件 GAN の性能格差を埋めること。
• 自己教師付き表現学習が GAN 学習の安定性および下流分類精度を向上させることを示すこと。

提案手法

• 入力画像の回転角度を予測する補助タスクとして、ディスクラミネーターに回転に基づく自己教師付き損失を導入する。
• ディスクラミネーター学習時に標準 GAN 損失と回転予測損失を組み合わせ、安定的で意味のある特徴表現を促進する。
• GAN 目的と自己教師付き回転タスクの両方で同じディスクラミネーター構造を用いることで、追加パラメータを回避する。
• 生成器の分布が時間とともに変化する継続的学習設定でディスクラミネーターを訓練する。
• 異なる残差ブロックからの特徴マップを用いて線形分類器を訓練することで、表現品質を評価する。
• 標準的な訓練プロトコルを適用：バッチ正規化を伴う SGD、学習率の段階的減少、線形評価における検証セットでの早期停止。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き学習は、ラベルを必要とせずに無条件 GAN のディスクラミネーター表現学習を向上させることができるか？
• RQ2 回転に基づく自己教師付き損失を追加することで、継続的 GAN 学習におけるディスクラミネーターの災難的忘却が軽減されるか？
• RQ3 自己教師付き GAN は、標準 GAN や条件付き GAN と比較して、下流の画像分類精度をどの程度向上させるか？
• RQ4 ImageNet において、本手法は他の自己教師付き表現学習手法と比較して、特徴品質の点でどのように優れているか？

主な発見

• SsGAN は、CIFAR-10 のブロック 2 からの特徴を用いてトップ1精度 0.796 ± 0.005 を達成し、SN-GAN (0.778 ± 0.001) や P-cGAN (0.776 ± 0.005) を上回る。
• ImageNet では、SsGAN がブロック 5 でトップ1精度 0.353 ± 0.006 を達成し、P-cGAN (0.324 ± 0.007) を上回り、RotNet (0.387) や BiGAN (0.310) と同等の最先端の自己教師付き手法と同等の性能を示す。
• SsGAN の表現品質は 100 万ステップにわたり一貫して向上するが、P-cGAN や SsGAN の表現は 20 万ステップで飽和する。
• SsGAN は、ラベルを一切使用しないにもかかわらず、画像生成および表現学習において無条件 GAN と条件付き GAN の性能格差を埋めることに成功した。
• 回転のみのベースライン（Rotation）は、CIFAR-10 ブロック 0 でトップ1精度 0.710 ± 0.002 を達成し、自己教師付き学習が標準 GAN の表現を改善することを示している。
• SsGAN は ImageNet でトップ1精度 0.359 を達成し、Context (0.317)、Colorization (0.315)、RotNet (0.387) を上回り、競争力のある表現学習を実現している。