[論文レビュー] Generative Adversarial Network with Multi-Branch Discriminator for Cross-Species Image-to-Image Translation

Ziqiang Zheng, Zhibin Yu+4 more|arXiv (Cornell University)|Jan 24, 2019

Generative Adversarial Networks and Image Synthesis参考文献 47被引用数 4

ひとこと要約

本稿では、1つのディスクラミネーターを複数の小さなパラメータ効率の良いブランチに分割することで、クロス・スペーシーズの画像間変換を向上させる多枝判別器アーキテクチャ、GAN-MBDを提案する。この手法により生成品質が向上し、モデルパラメータが削減され、人間、ネコ、イヌを含む複数の種にわたる高精度な変換が可能になるとともに、標準的なGPUで最小限のメモリ使用量で効率的な処理が実現される。

ABSTRACT

Current approaches have made great progress on image-to-image translation tasks benefiting from the success of image synthesis methods especially generative adversarial networks (GANs). However, existing methods are limited to handling translation tasks between two species while keeping the content matching on the semantic level. A more challenging task would be the translation among more than two species. To explore this new area, we propose a simple yet effective structure of a multi-branch discriminator for enhancing an arbitrary generative adversarial architecture (GAN), named GAN-MBD. It takes advantage of the boosting strategy to break a common discriminator into several smaller ones with fewer parameters, which can enhance the generation and synthesis abilities of GANs efficiently and effectively. Comprehensive experiments show that the proposed multi-branch discriminator can dramatically improve the performance of popular GANs on cross-species image-to-image translation tasks while reducing the number of parameters for computation. The code and some datasets are attached as supplementary materials for reference.

研究の動機と目的

• 複数の種にわたる画像間変換において、意味論的なコンテンツの一致を実現するという課題に対処すること。
• 既存のGANが高価なGPUと長時間の学習を要するという計算負荷の低減。
• モデルの複雑さやパラメータ数を増加させることなく、代表的なGANの生成および合成能力の向上。
• 2種類の種間での変換にとどまらず、3種類以上の種を同時に処理できる変換の実現。
• 追加のパラメータを追加せずに、画像品質を向上させるためのポストプロセッシング精錬技術の開発。

提案手法

• 多枝判別器（MBD）は、1つの大きなディスクラミネーターを、より少ないパラメータを持つ複数の小さな並列ブランチに分解する。これはブースティング戦略を模倣したものである。
• 各ブランチは特徴量のサブセットを処理し、種間をまたがるより強固で多様な識別的表現を学習可能となる。
• MBD構造はプラグアンドプレイであり、Pix2pix、CycleGAN、StarGANなどの既存のGANと互換性があり、アーキテクチャの大幅な見直しを伴わずに性能を向上できる。
• 再利用と精錬を行うポストプロセッシングパイプラインを導入し、生成出力を繰り返し精錬することで、画像品質をさらに向上させる。
• この手法により、総モデルパラメータ数が顕著に削減される。例えば、4つのブランチを用いることで、StarGANのディスクラミネーターのパラメータ数は45.41Mから11.89Mに削減される。
• 実験では1〜64本のブランチを有する多枝構造を用い、さまざまなGANフレームワークにおけるスケーラビリティと効率性を実証した。

実験結果

リサーチクエスチョン

• RQ1 多枝判別器構造は、モデルパラメータを削減しつつ、複数種にわたる画像間変換のパフォーマンスを向上させることができるか？
• RQ2 MBDアーキテクチャは、標準的なGANや複数ディスクラミネーター変種と比較して、生成品質および学習効率において優れているか？
• RQ3 再利用と精錬を行うポストプロセッシング手法は、モデルパラメータを増加させずに画像品質を向上させることができるか？
• RQ4 MBDフレームワークは、Pix2pix、CycleGAN、StarGANなどのさまざまなGANアーキテクチャに一般化可能か？
• RQ5 提案手法により、人間、ネコ、イヌなど3種類以上の種にわたる効果的なクロス・スペーシーズ変換が可能になるか？

主な発見

• MBD構造により、GANの総パラメータ数を最大75％まで削減可能である。例えば、4つのブランチを用いることで、StarGANの総パラメータ数は58.31Mから24.79Mに削減され、性能が向上する。
• 提案されたGAN-MBDは、クロス・スペーシーズ画像間変換分野で最先端の結果を達成しており、StarGAN-4BRを用いて人間、ネコ、イヌ間の成功した変換が実現されている。
• 再利用と精錬を行うポストプロセッシング手順により、CelebA、Cat2dog、その他のデータセットにおける定性的な結果から、多様な種にわたるタスクで画像品質が向上していることが示された。
• 学習時間は、ベースラインモデルと比較して最大15％短縮された。例えば、StarGAN-4brは1000イテレーションあたり315.42msで学習が完了したが、標準的なStarGANは373.44msであった。
• MBDを用いたCycleGANは、複数のディスクラミネーターを備えた標準的なCycleGANと同等またはそれ以上の画像品質を達成しているが、パラメータ数は著しく少ない。
• 本手法により、メモリ制限のある1枚の1080 Ti GPU上でも高品質な画像変換が可能となり、実世界への展開が現実可能となった。