[論文レビュー] Stabilizing GANs with Octave Convolutions.

Ricard Durall, Franz‐Josef Pfreundt+1 more|arXiv (Cornell University)|May 29, 2019

Generative Adversarial Networks and Image Synthesis参考文献 16被引用数 7

ひとこと要約

この論文は、畳み込みフィルタを高周波と低周波成分に分解し、重み更新を低周波から高周波へ移行することで、CNNベースのGANにおける学習の安定化を図る新しい手法、Octave Convolutionを導入している。これにより、生成器は最初に粗い画像構造を学習し、その後に詳細を精緻化するよう強制され、モード崩壊の低減とさまざまなGANアーキテクチャにおける学習安定性の向上が実現される。

ABSTRACT

In this preliminary report, we present a simple but very effective technique to stabilize the training of CNN based GANs. Motivated by recently published methods using frequency decomposition of convolutions (e.g. Octave Convolutions), we propose a novel convolution scheme to stabilize the training and reduce the likelihood of a mode collapse. The basic idea of our approach is to split convolutional filters into additive high and low frequency parts, while shifting weight updates from low to high during the training. Intuitively, this method forces GANs to learn low frequency coarse image structures before descending into fine (high frequency) details. Our approach is orthogonal and complementary to existing stabilization methods and can simply plugged into any CNN based GAN architecture. First experiments on the CelebA dataset show the effectiveness of the proposed method.

研究の動機と目的

• CNNベースのGANにおける学習不安定性、特にモード崩壊や収束不良という長年の課題に取り組むこと。
• 畳み込みフィルタの周波数分解が、GANの学習ダイナミクスを改善できるかどうかを検証すること。
• 既存のGAN安定化手法と併用可能で、アーキテクチャの大幅な見直しが不要な、シンプルで即時適用可能な手法の開発。
• 低周波から高周波への重み更新の移行が、生成器における階層的特徴学習を促進するかの評価。

提案手法

• 手法は、オクターブベースの周波数分解を用いて、標準的な畳み込みフィルタを低周波成分と高周波成分に分解する。
• 学習中に、重み更新が最初に低周波成分に適用され、その後に高周波成分に移行される。
• これにより、粗い画像構造が細部の精緻化よりも先に学習される階層的学習プロセスが実現される。
• 本手法は、既存のGAN学習技術と直交するように設計されており、任意のCNNベースのGANアーキテクチャへのシームレスな統合が可能である。
• 周波数分解は、計算効率を維持しながら周波数に配慮した最適化を可能にする、変更を加えた畳み込み層を介して実装される。

実験結果

リサーチクエスチョン

• RQ1 畳み込みフィルタの周波数分解は、GANにおける学習安定性を向上させることができるか？
• RQ2 低周波から高周波への重み更新の移行は、GANにおけるモード崩壊を低減するか？
• RQ3 本手法は、アーキテクチャの変更なしに、さまざまなCNNベースのGANアーキテクチャに効果的に適用可能か？
• RQ4 粗い特徴から細かい特徴への階層的学習が、生成画像の品質と多様性にどのように影響を与えるか？

主な発見

• 提案されたOctave Convolution手法は、CNNベースのGANにおける学習安定性を顕著に向上させ、モード崩壊の発生確率を低減した。
• CelebAデータセットを用いた実験により、複数のGANアーキテクチャにおいて本手法が学習を安定化させることを実証した。
• 本手法により、生成器は細部の精緻化よりも先に粗い画像構造を学習でき、より整合性があり多様性に富んだサンプルの生成が可能になった。
• 本手法は既存のGAN学習技術と互換性があり、任意のCNNベースのGANフレームワークへのシームレスな統合が可能である。