[論文レビュー] Image Generation From Small Datasets via Batch Statistics Adaptation

Atsuhiro Noguchi, Tatsuya Harada|arXiv (Cornell University)|Apr 3, 2019

Generative Adversarial Networks and Image Synthesis参考文献 39被引用数 16

ひとこと要約

本稿では、すべての畳み込みカーネル重みを凍結したまま、バッチ正規化のスケールおよびシフトパラメータのみを微調整することで、事前学習済みジェネレータを適応させることにより、たった25枚の画像という極めて少ないデータセットから高品質な画像を生成する手法を提案する。このアプローチにより、安定した学習が可能となり、元の生成品質が保持され、災難的忘却を伴わず、低ショットのドメイン追加が可能となる。

ABSTRACT

Thanks to the recent development of deep generative models, it is becoming possible to generate high-quality images with both fidelity and diversity. However, the training of such generative models requires a large dataset. To reduce the amount of data required, we propose a new method for transferring prior knowledge of the pre-trained generator, which is trained with a large dataset, to a small dataset in a different domain. Using such prior knowledge, the model can generate images leveraging some common sense that cannot be acquired from a small dataset. In this work, we propose a novel method focusing on the parameters for batch statistics, scale and shift, of the hidden layers in the generator. By training only these parameters in a supervised manner, we achieved stable training of the generator, and our method can generate higher quality images compared to previous methods without collapsing, even when the dataset is small (~100). Our results show that the diversity of the filters acquired in the pre-trained generator is important for the performance on the target domain. Our method makes it possible to add a new class or domain to a pre-trained generator without disturbing the performance on the original domain.

研究の動機と目的

• たとえば100枚程度以下の極めて少ない画像（約100枚未塔）しか入手できない状況において、高品質な生成モデルを訓練する課題に対処すること。
• 通常のGAN学習では、小規模データセットでしばしば発生するモード崩壊や一般化性能の低下といった制限を克服すること。
• 元のドメインにおける性能を損なうことなく、事前学習済みジェネレータに新しいクラスやドメインを追加できるようにすること。
• 大規模な事前学習ジェネレータから得た先行知識を活用することで、小規模でドメイン外のデータセットにおいても、サンプルの品質と多様性を向上させること。

提案手法

• BigGAN や SNGAN などの事前学習ジェネレータから知識を転送し、バッチ正規化層のスケールおよびシフトパラメータのみを微調整することで、小規模なターゲットデータセットに適応させる。
• 学習中にすべての畳み込みカーネル重みを固定することで、過学習を防ぎ、事前学習モデルの一般化能力を維持する。
• 小規模なターゲットデータセットを用いて、固定されたジェネレータアーキテクチャで損失関数を最小化するように、スケールおよびシフトパラメータを教師ありの方法で学習する。
• 推論時にトランクレーションサンプリングを用いることで、特に高解像度設定において、生成品質と多様性を向上させる。
• 条件付きおよび非条件付き生成タスクの両方、特に異なる画像ドメイン間の補間およびドメインモーフィングに対しても本手法を適用する。
• BigGANの条件付きバッチ正規化層では、内部のニューラルネットワークが十分な正則化を提供するため、統計にL2正則化項を省略する。

実験結果

リサーチクエスチョン

• RQ1 事前学習ジェネレータを、バッチ正規化パラメータのみを用いて、極めて少ない数のドメイン外データセットに効果的に適応させることは可能か？
• RQ2 スケールおよびシフトパラメータのみを微調整することで、元のジェネレータの性能を保持しつつ、小規模データセット上で高品質な画像生成が可能になるか？
• RQ3 ソースの事前学習ジェネレータに内蔵されたフィルタの多様性が、ターゲットドメインにおける生成画像の品質にどのように影響するか？
• RQ4 災難的忘却や元のドメインにおける性能低下を伴わず、低ショットのドメイン追加をサポートできるか？
• RQ5 256×256などの高解像度画像生成において、極めて少量の学習データで本手法が有効に機能するか？

主な発見

• 25枚の画像での学習でも、先行手法よりも高い品質と優れた多様性を達成しており、モード崩壊は観察されなかった。
• ImageNet 1K で事前学習されたジェネレータが、ターゲットドメインで最高品質のサンプルを生成した。これは、ソースドメインにおけるフィルタの多様性が、適応に成功する上で極めて重要であることを示している。
• 小規模データセット（例：25枚の人物顔とアニメ顔）からの生成画像間の補間により、滑らかで意味的に整合性のある遷移が得られ、効果的な潜在空間の操作が可能であることが示された。
• スケールおよびシフトパラメータの調整のみで、ImageNet の「チーズバーガー」から「人物顔」や「花」へのドメインモーフィングが成功した。
• BigGAN-256 では、非常に小さな学習率（1e-7）で最初の線形層を微調整することで、シャープネスが向上した。これは、最小限のパrameter更新でも高解像度生成に効果をもたらす可能性を示している。
• 本手法は、ジェネレータにおける低ショット学習をサポートし、全モデルの再学習を伴わず、既存クラスの性能を損なうことなく、新しいクラスの追加が可能である。