[論文レビュー] Tensorizing Generative Adversarial Nets

Xingwei Cao, Qibin Zhao+1 more|arXiv (Cornell University)|Oct 30, 2017

Generative Adversarial Networks and Image Synthesis参考文献 1被引用数 6

ひとこと要約

本稿では、多線形演算とTucker分解を用いて全結合層をテンソルとして表現することにより、モデルパラメータを著しく削減する、テンソル化生成対抗ネットワーク（TGAN）というフレームワークを提案する。マルチモーダルなデータ構造を保持し、効率的な最適化を可能にすることで、MNISTにおいて標準GANと同等のサンプル品質を達成しながら、最大40倍のパラメータ圧縮を実現する。

ABSTRACT

Generative Adversarial Network (GAN) and its variants exhibit state-of-the-art performance in the class of generative models. To capture higher-dimensional distributions, the common learning procedure requires high computational complexity and a large number of parameters. The problem of employing such massive framework arises when deploying it on a platform with limited computational power such as mobile phones. In this paper, we present a new generative adversarial framework by representing each layer as a tensor structure connected by multilinear operations, aiming to reduce the number of model parameters by a large factor while preserving the generative performance and sample quality. To learn the model, we employ an efficient algorithm which alternatively optimizes both discriminator and generator. Experimental outcomes demonstrate that our model can achieve high compression rate for model parameters up to $35$ times when compared to the original GAN for MNIST dataset.

研究の動機と目的

• モバイルおよびエッジデバイスへのデプロイを制限する、標準GANの高い計算コストおよびパラメータの複雑さに対処すること。
• 従来のGANで生じるベクトル化によるマルチモーダルデータ構造の損失を防ぐために、入力および層をテンソルとして表現すること。
• テンソル代数と多線形演算を用いて、生成性能を維持したままモデルサイズを大幅に削減すること。
• パラメータ効率的なテンソル化により、リソース制約のあるプラットフォームにおける効率的な訓練および推論を可能にすること。
• テンソル化GANが、はるかに少ないパラメータで標準GANと同等またはそれを上回るサンプル品質を達成できることを示すこと。

提案手法

• 全結合層をベクトル化された全結合層の代わりに、多線形演算を用いたテンソル構造として表現する。
• 重みテンソルのパrameter化にTucker分解を採用し、低ランク近似によりパラメータ数を削減する。
• nモード積とテンソル代数を用いて、テンソル層全体で効率的な順方向および逆方向伝搬を計算する。
• ジェネレータとディスクラミネータをテンソル化されたフレームワーク内で同時に最適化するための交互最適化アルゴリズムを適用する。
• 入力、隠れ層、出力表現をフラットなベクトルではなく、多次元テンソルとして扱うことで、モード間の関係性を保持する。
• テンソルチェーン則を用いて勾配を導出する。バックプロパゲーションをテンソル演算およびTucker分解に適応させる。

実験結果

リサーチクエスチョン

• RQ1 GANの全結合層をテンソル化することで、サンプル品質を損なわずにモデルパラメータを削減できるか？
• RQ2 テンソル化された層におけるTucker分解の使用が、訓練収束性および生成性能に与える影響は何か？
• RQ3 標準GANと比較して、TGANはベンチマークデータセット上でどれほどモデルサイズを圧縮できるか？また、忠実度を維持できるか？
• RQ4 生成モデリングにおいて、テンソル化はベクトル化された表現と比較して、マルチモーダルなデータ構造をどれほどよく保持できるか？
• RQ5 提案されたフレームワークは、合成マルチモーダル分布において、より高速に学習し、より良い一般化性能を示せるか？

主な発見

• MNISTデータセットにおいて、TGANは標準GANと比較して最大35倍のモデル圧縮率を達成した。
• MNISTにおいて、TGANは429,000パラメータを持つ大きなGAN（GAN 1）と同等のサンプル品質を生成したが、自身は12,000パラメータしか使用しなかった。
• 6つの円形に分布したクラスタを有する合成データ実験では、TGANは標準GANよりも速くかつより正確に真の分布に収束した。
• 40倍の圧縮率でさえも、高いサンプル品質を維持しており、最小限のパラメータで強力な生成能力を示している。
• テンソル化アーキテクチャはマルチモーダルな合成データにおいてより速い学習を可能にし、複雑な分布に対するより優れたインダクティブバイアスを示している。
• 本手法はモデルの複雑さを顕著に低減しており、パラメータ数が行列乗算の代わりにテンソル次元の積の和としてスケーリングされる。