[論文レビュー] Multimodal Controller for Generative Models

Enmao Diao, Jie Ding+1 more|arXiv (Cornell University)|Feb 7, 2020

Generative Adversarial Networks and Image Synthesis参考文献 47被引用数 4

ひとこと要約

本論文は、追加の学習パラメータを追加せずに、非条件付き生成モデル（VAE、PixelCNN、Glow、GAN）が高品質でクラス条件付きの画像を生成できるようにする、プラグアンドプレイ型のマルチモーダルコントローラー（MC）を提案する。MCは各データモダリティに固有の均一にサンプリングされたサブネットワークを割り当て、再サンプリングによって新たなデータモダリティの生成が可能となり、CIFAR10、COIL100、Omniglotにおいて、条件付きベースラインを上回る性能を発揮する。

ABSTRACT

Class-conditional generative models are crucial tools for data generation from user-specified class labels. Existing approaches for class-conditional generative models require nontrivial modifications of backbone generative architectures to model conditional information fed into the model. This paper introduces a plug-and-play module named `multimodal controller' to generate multimodal data without introducing additional learning parameters. In the absence of the controllers, our model reduces to non-conditional generative models. We test the efficacy of multimodal controllers on CIFAR10, COIL100, and Omniglot benchmark datasets. We demonstrate that multimodal controlled generative models (including VAE, PixelCNN, Glow, and GAN) can generate class-conditional images of significantly better quality when compared with conditional generative models. Moreover, we show that multimodal controlled models can also create novel modalities of images.

研究の動機と目的

• 非条件付き生成モデルをクラス条件付きに変換する汎用的でパラメータフリーの手法の開発。
• 条件付き埋め込みに追加の学習パラメータを必要とする従来の条件付きモデルの限界の解消。
• トレーニング時に見られなかった新たなデータモダリティの生成を、再サンプリングされたサブネットワークによって可能にする。
• CIFAR10、Omniglotなどのクラス内変動が大きく、多数のモダリティを含むデータセットにおいて優れた性能を示すこと。
• VAE、PixelCNN、Glow、GANを含む多様なバックボーンアーキテクチャにスケーラブルかつ互換性のあるソリューションの提供。

提案手法

• マルチモーダルコントローラー（MC）は、非パrametricで、生成モデルの各層に挿入可能なプラグアンドプレイモジュールである。
• 各データモダリティに、追加のトレーニング可能なパラメータなしに、一意で均一にサンプリングされたサブネットワークが割り当てられる。
• モデルはクラスラベルに応じて入力を対応するサブネットワークにルーティングすることで、各モダリティごとに固有の計算パスを効果的に構築する。
• サブネットワークは、メインネットワークの重み上にバイナリマスクとして実装され、再トレーニングなしに動的ルーティングが可能となる。
• 新たなデータモダリティは、コードブックのエントリを均一に再サンプリングすることで生成され、トレーニング時には存在しなかった新しいサブネットワークが得られる。
• VAE、PixelCNN、Glow、GANなどのさまざまなバックボーンモデルに対し、各層にMCを適用することで、本手法の互換性が確保される。

実験結果

リサーチクエスチョン

• RQ1 パラメータフリーのコントローラーを用いて、非条件付き生成モデルにおけるクラス条件付き生成を実現できるか？
• RQ2 多数のモダリティを含むデータセットにおいて、マルチモーダルコントローラーは標準的な条件付きモデルを上回る画像品質と多様性を達成できるか？
• RQ3 マルチモーダルコントローラーは、トレーニングデータに存在しなかった高精細で新しいデータモダリティを生成できるか？
• RQ4 VAE、PixelCNN、Glow、GANなどの異なるバックボーンアーキテクチャにおいて、マルチモーダルコントローラーの性能は一貫性を保っているか？
• RQ5 新規モダリティ生成における生成画像のクラスタリング品質は、MCと標準的な条件付きモデルとでどのように異なるか？

主な発見

• CIFAR10、COIL100、Omniglotにおいて、MCGAN、MCVAE、MCPixelCNN、MCGlowといったマルチモーダル制御生成モデルは、それぞれの条件付きベースラインと比較して顕著に優れたFIDスコアを達成した。
• COIL100データセットでは、MCGANは多様な物体の回転を効果的に生成したが、CGANはすべての回転モードで一貫した結果を出せなかった。
• Omniglotデータセットでは、MCGANはクラス内変動とクラス間の明確な区別を両立させたのに対し、CGANは一部のデータモダリティを正しく生成できなかった。
• CIFAR10における新規データモダリティ生成のDavies-Bouldin Index（DBI）は、MCGANで2.0（±0.30）であったのに対し、CGANでは33.2（±3.46）であった。これは、より緊密なクラスタリングと偏りの少ない新規モダリティ生成を示している。
• COIL100ではMC法のDBIが1.5（±0.07）、Omniglotでは3.6（±0.02）であったのに対し、条件付きベースラインは有意に高い値を示しており、より優れたクラスタリングと忠実度を確認した。
• 定性的な結果から、MCコードブックから再サンプリングされたサブネットワークが、トレーニング時には見られなかった高精細で多様かつ現実的な新規データモダリティを生成できていることが示された。