[論文レビュー] TGAN: Deep Tensor Generative Adversarial Nets for Large Image Generation

Zihan Ding, Xiao-Yang Liu+2 more|arXiv (Cornell University)|Jan 28, 2019

Generative Adversarial Networks and Image Synthesis参考文献 28被引用数 13

ひとこと要約

本稿では、ピクセル空間ではなくテンソル空間で動作する深層テンソル生成対抗ネットワーク、TGAN を提案する。テンソル超解像と深層畳み込みネットワーク GAN を統合することで、空間的構造と局所的なピクセルの近接性を保持し、Inception スコアと画像の現実性の両面で最先端の性能を達成した。PASCAL2 データセット上で $374\times374$ の高品質な画像を生成し、従来手法に比べてサイズが 8.5 倍に拡大された。

ABSTRACT

Deep generative models have been successfully applied to many applications. However, existing works experience limitations when generating large images (the literature usually generates small images, e.g. 32 * 32 or 128 * 128). In this paper, we propose a novel scheme, called deep tensor adversarial generative nets (TGAN), that generates large high-quality images by exploring tensor structures. Essentially, the adversarial process of TGAN takes place in a tensor space. First, we impose tensor structures for concise image representation, which is superior in capturing the pixel proximity information and the spatial patterns of elementary objects in images, over the vectorization preprocess in existing works. Secondly, we propose TGAN that integrates deep convolutional generative adversarial networks and tensor super-resolution in a cascading manner, to generate high-quality images from random distributions. More specifically, we design a tensor super-resolution process that consists of tensor dictionary learning and tensor coefficients learning. Finally, on three datasets, the proposed TGAN generates images with more realistic textures, compared with state-of-the-art adversarial autoencoders. The size of the generated images is increased by over 8.5 times, namely 374 * 374 in PASCAL2.

研究の動機と目的

• 大規模で高解像度の画像を深層生成モデルを用いて生成する課題に対処すること。
• 計算の複雑さとモード崩壊の問題により、高次元データに対して苦労する従来の GAN の制限を克服すること。
• 空間パターンと局所的近接性を保持するテンソル表現を活用することで、画像品質と構造的整合性を向上させること。
• DCGAN とテンソル超解像を組み合わせた段階的フレームワークを構築し、スケーラブルで高精細な画像生成を実現すること。
• PASCAL2 などの大規模データセット上で優れた性能を示し、$374\times374$ 解像度の画像生成を達成すること。

提案手法

• 本手法はテンソル空間で動作し、画像のベクトル化表現の代わりにテンソル表現を用いることで、空間的・構造的関係をより良く捉える。
• 段階的なアーキテクチャにより、深層畳み込みネットワーク GAN とテンソル超解像モジュールを統合し、画像の段階的精錬を実現する。
• テンソル超解像プロセスには、コンactかつ効率的な表現を実現するための t-線形結合を用いたテンソル辞書学習とテンソル係数学習が含まれる。
• アップサンプリング中に空間的構造を保持するため、循環行列を用いてシフト不変性を維持する。
• 生成器はランダムノイズを低解像度テンソルにマップし、その後、テンソルベースの超解像によって高解像度出力を得る。
• 識別器はテンソル空間で生成画像の現実性を評価し、テクスチャと構造的詳細を保持する対抗的学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 テンソル空間で動作する生成対抗ネットワークは、標準的なピクセル空間 GAN よりも大規模で高品質な画像の生成において優れているか？
• RQ2 ベクトル化表現と比較して、テンソル表現は空間パターンと局所的ピクセル近接性のモデリングをどのように改善するか？
• RQ3 テンソル超解像は、大規模画像生成において、画像品質と詳細の忠実性をどの程度向上させるか？
• RQ4 提案された段階的 TGAN フレームワークは、AAE などの最先端モデルと比較して、Inception スコアと視覚的品質の両面で優れているか？
• RQ5 本手法は $374\times374$ 解像度の画像生成にスケーリング可能であり、現実性と構造的一致性を維持できるか？

主な発見

• PASCAL2 データセットにおいて、TGAN は $374\times374$ 画像で Inception スコア 4.02 を達成し、AAE の 3.81 より顕著に優れた性能を示した。
• MNIST データセットでは、TGAN は 16 枚の画像のうちたった 2 枚の曇った画像しか生成しなかったが、AAE は 6 枚を生成した。これは、視覚的品質と特徴の明瞭さが優れていることを示している。
• アブレーションスタディの結果、テンソル超解像が画像品質を顕著に向上させていることが確認された。この手法を用いない場合、画像は細部が欠落し、粗い外観を示した。
• TGAN は PASCAL2 で $374\times374$ 解像度の画像を生成し、AAE らの従来手法と比較して画像サイズが 8.5 倍に拡大された。
• ベクトルベースの手法よりも空間的構造と局所的近接性をよりよく保持しており、より現実的なテクスチャとシャープな特徴を実現した。
• テンソルベースの辞書学習の活用により、辞書サイズと計算複雑性が削減され、トレーニングが高速化されつつも、高い表現効率を維持した。