[論文レビュー] cGANs with Conditional Convolution Layer

Min Cheol Sagong, Yong Goo Shin+3 more|arXiv (Cornell University)|Jun 3, 2019

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 6

ひとこと要約

本論文は、フィルタ単位のスケーリングとチャネル単位のシフトを用いて、入力の条件に応じて畳み込みフィルタの重みを動的に調整する条件付き畳み込み層（cConv）を提案する。これにより、1つの生成器が条件固有の特徴をより効果的に学習できるようになる。本手法は、CIFAR、LSUN、tiny-ImageNetにおいて、FIDおよびIS指標の両面で標準畳み込みおよび条件付きバッチ正則化（cBN）を上回る最先端の画像品質を達成した。

ABSTRACT

Conditional generative adversarial networks (cGANs) have been widely researched to generate class conditional images using a single generator. However, in the conventional cGANs techniques, it is still challenging for the generator to learn condition-specific features, since a standard convolutional layer with the same weights is used regardless of the condition. In this paper, we propose a novel convolution layer, called the conditional convolution layer, which directly generates different feature maps by employing the weights which are adjusted depending on the conditions. More specifically, in each conditional convolution layer, the weights are conditioned in a simple but effective way through filter-wise scaling and channel-wise shifting operations. In contrast to the conventional methods, the proposed method with a single generator can effectively handle condition-specific characteristics. The experimental results on CIFAR, LSUN and ImageNet datasets show that the generator with the proposed conditional convolution layer achieves a higher quality of conditional image generation than that with the standard convolution layer.

研究の動機と目的

• 標準畳み込み層が条件間で重みを共有するため、条件固有の特徴を効果的に学習できないというcGANの限界を解決すること。
• 1つの生成器が高品質な条件固有の画像特徴を生成できる、軽量でパラメータ効率の良いメカニズムを開発すること。
• 提案された層の一般化能力を、画像生成を超えて条件付きスタイル変換などの他のタスクにも適用できるかを示すこと。
• 条件付きバッチ正則化（cBN）のような従来の条件付け機構を、より直接的で効果的な重みモデュレーション戦略に置き換えるか補完すること。

提案手法

• 条件に依存するスケーリングとシフトをフィルタ重みに適用することで、標準畳み込みを変更する条件付き畳み込み層（cConv）を提案する。
• フィルタ単位のスケーリングを採用：各畳み込みフィルタは、フィルタごとに学習された条件固有のスカラーでスケーリングされる。
• チャネル単位のシフトを適用：各フィルタの出力は、チャネルごとに条件固有のバイアスベクトルでシフトされる。
• スケーリングおよびシフトのパラメータは、クラスラベルに条件付けられた小さな共有MLPによって計算され、パラメータの追加コストが最小限に抑えられる。
• cConvは、生成器ネットワークに標準畳み込み層の代わりに挿入され、判別器や学習手順の変更は行わない。
• 本手法は既存のcGANフレームワークと互換性があり、cBNなどの技術と組み合わせることでさらなる性能向上が可能である。

実験結果

リサーチクエスチョン

• RQ1 重みを共有する標準cGANと比較して、修正された畳み込み層を備えた1つの生成器が、条件固有の特徴をより効果的に学習できるか？
• RQ2 畳み込みフィルタに対するフィルタ単位のスケーリングとチャネル単位のシフトが、条件付き画像生成における画像品質と多様性を向上させるか？
• RQ3 提案されたcConv層は、画像生成を超えて、スタイル変換のような他の条件付きタスクにも一般化可能か？
• RQ4 cBNと比較して、cConvの訓練ダイナミクスおよび最終的な性能はどのように異なるか？

主な発見

• CIFAR-10では、cConvベースのモデルがFréchet Inception Distance（FID）11.59およびInception Score（IS）88.36を達成し、標準畳み込みを用いたベースラインを上回った。
• LSUNでは、cBNベースラインよりも低いFID（17.68）と高いIS（77.21）を達成し、画像品質と多様性の両面で優れた性能を示した。
• 128×128解像度のtiny-ImageNetでは、cBNと比較してcConvモデルが顕著な性能向上を示した。FIDは学習過程で28.4から24.1に低下したが、cBNの性能は早期に飽和した。
• すべてのデータセットでcConvモデルがcBNモデルを上回り、画像品質と多様性の両面で一貫した優位性を示した。
• 2つのクラス間でスケーリングおよびシフトパラメータを補間することで、cConvはカテゴリーモーフィングに成功し、妥当な中間の画像を生成した。
• 条件付きスタイル変換では、cConvベースのモデルが1つの入力から10種類の異なる芸術的スタイルを持つ画像を効果的に生成し、強力な一般化能力を示した。