[論文レビュー] GENHOP: An Image Generation Method Based on Successive Subspace Learning

Xuejing Lei, Wei Wang+1 more|arXiv (Cornell University)|Oct 7, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

GENHOPは、次 sequentialな部分空間学習に基づく非ディープラーニングの画像生成手法であり、次元削減、白色ガウスノイズを用いたシード画像生成、および局所線形埋め込み（LLE）と逆変換を用いた段階的詳細回復によって高品質な画像を生成する。MNIST、Fashion-MNIST、CelebAにおいて最先端のFIDスコアを達成し、多数のDLベースのモデルを上回る性能を示した。

ABSTRACT

Being different from deep-learning-based (DL-based) image generation methods, a new image generative model built upon successive subspace learning principle is proposed and named GenHop (an acronym of Generative PixelHop) in this work. GenHop consists of three modules: 1) high-to-low dimension reduction, 2) seed image generation, and 3) low-to-high dimension expansion. In the first module, it builds a sequence of high-to-low dimensional subspaces through a sequence of whitening processes, each of which contains samples of joint-spatial-spectral representation. In the second module, it generates samples in the lowest dimensional subspace. In the third module, it finds a proper high-dimensional sample for a seed image by adding details back via locally linear embedding (LLE) and a sequence of coloring processes. Experiments show that GenHop can generate visually pleasant images whose FID scores are comparable or even better than those of DL-based generative models for MNIST, Fashion-MNIST and CelebA datasets.

研究の動機と目的

• ディープラーニングベースの手法のブラックボックス性を回避する非ディープラーニングの画像生成モデルの開発。
• 複雑で高次元のピクセル相関から現実的な画像を生成する課題への対処。
• 構造的な部分空間学習と可逆変換を通じて、数学的に解釈可能な画像生成の実現。
• 画像の質と多様性の観点で、最先端のDLベースの生成モデルと同等または優れた性能を達成すること。
• エンドツーエンドのディープラーニングを用いずに、高解像度かつ意味的に意味のある画像を生成する可能性の探求。

提案手法

• GENHOPは、高次元から低次元への次元削減を実現するチャネル別Saab変換を逐次的に用い、相関が低減された逐次的部分空間を構築する。
• 白色ガウスノイズを用いて最低次元の部分空間でシード画像を生成し、多様性と統計的取り扱いやすさを確保する。
• 次元拡張の段階では、局所線形埋め込み（LLE）を用いて高周波成分を回復させ、空間的詳細を回復する。
• 逆Saab変換を適用することで、ピクセルレベルの相関を回復させ、低次元表現からフル解像度の画像を再構築する。
• 本手法は、次元削減と拡張の複数段階を経て、画像の構造とテクスチャの段階的精錬を可能にする。
• カラー画像（CelebA）の場合、ピクセル単位のPCAを用いてRGBチャネルを分離し、2つの主要成分（PとQ）にLLEを適用して第3の成分（R）を再構築する。

実験結果

リサーチクエスチョン

• RQ1 非ディープラーニングの画像生成モデルは、最先端のDLベースのモデルと同等またはそれ以上の性能を達成できるか？
• RQ2 逐次的部分空間学習をどのように活用すれば、エンドツーエンド学習を伴わずに多様で現実的な画像を生成できるか？
• RQ3 次元拡張段階において、局所線形埋め込み（LLE）がどれほど細部を回復できるか？
• RQ4 逆Saab変換は、次元削減の過程で失われた空間的・スペクトル的相関を効果的に回復できるか？
• RQ5 MNIST、Fashion-MNIST、CelebAのように複雑性が異なるデータセットにおいて、本手法の性能はいかがであるか？

主な発見

• MNISTデータセットでは、GENHOPが5.1のFIDスコアを達成し、比較対象のすべてのモデルの中で最低を記録した。
• Fashion-MNISTでは、FIDスコア18.1を達成し、全モデルの中で2番目に高く、テクスチャやクラス固有の詳細を的確に捉えていた。
• CelebAでは、FIDスコア40.3を達成し、2番目に優れたスコアであり、生成画像の多くが意味的に意味があり、現実的であった。
• MNISTでは、多様で構造的に正確な数字が生成され、サンプル間で明瞭で一貫した形状が得られた。
• Fashion-MNISTの生成画像では、靴のリアルなテクスチャやTシャツの印刷の正確な再現が確認され、効果的な詳細回復が示された。
• 主な制限要因は、CelebAのサンプルで偶発的に不自然な色合いが発生することであり、これはLLEの局所的性質と再構築におけるグローバルな文脈の欠如に起因するとされた。