[論文レビュー] Modular Generative Adversarial Networks

Bo Zhao, Bo Chang+2 more|arXiv (Cornell University)|Apr 10, 2018

Generative Adversarial Networks and Image Synthesis参考文献 24被引用数 12

ひとこと要約

本稿では、エンコーダ、トランスフォーマー、ジェネレータ、再構成器、ディスクラミネーターなどの再利用可能で組み合わせ可能なモジュールを用いる、新しいモジュラー生成対抗ネットワークであるModularGANを提案する。これらのモジュールを共同で訓練し、推論時に動的に組み合わせることで、指数関数的なペairワイズモデルの訓練を回避し、顔の属性転送においてCelebAで最先端の性能を達成するとともに、マスク予測とサイクル損失により頑健性を維持する。

ABSTRACT

Existing methods for multi-domain image-to-image translation (or generation) attempt to directly map an input image (or a random vector) to an image in one of the output domains. However, most existing methods have limited scalability and robustness, since they require building independent models for each pair of domains in question. This leads to two significant shortcomings: (1) the need to train exponential number of pairwise models, and (2) the inability to leverage data from other domains when training a particular pairwise mapping. Inspired by recent work on module networks, this paper proposes ModularGAN for multi-domain image generation and image-to-image translation. ModularGAN consists of several reusable and composable modules that carry on different functions (e.g., encoding, decoding, transformations). These modules can be trained simultaneously, leveraging data from all domains, and then combined to construct specific GAN networks at test time, according to the specific image translation task. This leads to ModularGAN's superior flexibility of generating (or translating to) an image in any desired domain. Experimental results demonstrate that our model not only presents compelling perceptual results but also outperforms state-of-the-art methods on multi-domain facial attribute transfer.

研究の動機と目的

• 各ドメインペアごとに別々のモデルを訓練する必要がある従来のペアワイズ画像変換モデルのスケーラビリティとデータ非効率性を解決すること。
• 単一の複雑なモデルの限界を克服し、画像生成をより単純で再利用可能な機能的モジュールに分解すること。
• 再訓練なしに任意の目的のドメインで画像を生成できるように、推論時にモジュールを柔軟かつ動的に組み合わせることを可能にすること。
• すべてのドメインのデータを訓練中に活用することで一般化性能を向上させ、希少なドメインペアのためのペアドデータに依存するのを減らすこと。
• 構造的なモジュール設計と補助損失を活用することで、マルチ属性画像変換における頑健性と属性の正確性を向上させること。

提案手法

• 画像生成パイプラインにおける異なる機能を担う5つのコアコンponent（ジェネレータ、エンコーダ、トランスフォーマー、再構成器、ディスクラミネーター）からなるモジュラーGANアーキテクチャを設計する。
• 生成画像の現実性と属性の正確性を保証するため、敵対的損失、再構成損失、属性分類損失を含む共同目的関数を用いて、すべてのモジュールをエンドツーエンドで訓練する。
• 空間的に局所化された特徴変換を支援するため、トランスフォーマーモジュール内にマスク予測ヘッドを導入し、属性の分離と制御を向上させる。
• 順次的変換（例：A→B→C）が恒等写像を保持し、分布シフトを低減することを保証するため、訓練中にサイクル整合性損失を適用する。
• 推論時に任意の順序でスタックすることで、トランスフォーマーモジュールの動的組み合わせを可能にし、任意のターゲットドメインでの画像生成を柔軟に実現する。
• 生成画像の属性正確性を評価するために、共有されたResNet-18分類器を用い、髪の色、性別、表情などのターゲット属性への適合性を保証する。

実験結果

リサーチクエスチョン

• RQ1 再利用可能で組み合わせ可能なGANモジュールから構成されるモジュラーアーキテクチャは、従来のペアワイズまたは単一モデルアプローチを上回る性能を発揮できるか？
• RQ2 トランスフォーマーモジュールにマスク予測を導入することで、エンドツーエンドの特徴変換に比べ、属性の分離性と生成品質が向上するか？
• RQ3 複数のモジュールを順次的に組み合わせた場合、サイクル整合性損失はマルチ属性変換の性能にどのように影響するか？
• RQ4 モジュールの組み合わせ順序に対してモデルは頑健であるか？これにより、多様なドメインペアでの柔軟で信頼性の高い生成が可能か？
• RQ5 すべてのドメインを統合して同時に訓練することで、一般化性能が向上し、希少または複雑な属性ペアの誤差率が低下するか？

主な発見

• Amazon Mechanical Turk評価において、ModularGANは属性転送の観点で最高のヒューマン・プレファレンススコア（100点中48.70点）を達成し、IcGAN、CycleGAN、StarGANを大きく上回った。
• CelebAデータセットにおいて、ModularGANは属性予測の分類誤差が最小であり（性別：2.61%、笑顔：4.21%、髪の色：3.86%）、望ましい属性を正確に生成していることを示した。
• アブレーションスタディでは、マスク予測を削除した場合、HSG（髪の色、笑顔、性別）タスクでの誤差率が30.85%に上昇した。これは、マスク予測が分離された操作において極めて重要な役割を果たしていることを確認した。
• サイクル損失を導入しない場合、マルチ属性転送性能は著しく低下した（HSGタスクで誤差率52.87%）。これは、合成変換の整合性を維持するうえでサイクル損失が極めて重要であることを示している。
• トランスフォーマーモジュールの順序をランダム化しても、性能にほとんど影響がなかった（HSGタスクで誤差率6.23%）。これは、モデルがモジュールの組み合わせ順序に対して頑健であることを確認した。
• HSG属性転送タスクにおいて、ModularGANは46.96%のプレファレンススコアを達成し、StarGAN（27.83%）やCycleGAN（9.57%）を上回り、複雑なマルチ属性生成における優位性を示した。