[論文レビュー] TGHop: An Explainable, Efficient and Lightweight Method for Texture Generation

Xuejing Lei, Ganning Zhao+2 more|arXiv (Cornell University)|Jul 8, 2021

Generative Adversarial Networks and Image Synthesis参考文献 47被引用数 5

ひとこと要約

TGHopは、ピクセルHop++を用いた逐次的部分空間学習により、粗いスケールから細かいスケールへと纹理パッチを分析・再構成する、軽量で説明可能かつ効率的なテクスチャ生成手法を提案する。空間PCAと階層的部分空間における分布マッチングを活用することで、小さなモデルサイズ（2.4Mパラメータ）と高速な推論を実現し、高品質なテクスチャ合成を達成する。

ABSTRACT

An explainable, efficient and lightweight method for texture generation, called TGHop (an acronym of Texture Generation PixelHop), is proposed in this work. Although synthesis of visually pleasant texture can be achieved by deep neural networks, the associated models are large in size, difficult to explain in theory, and computationally expensive in training. In contrast, TGHop is small in its model size, mathematically transparent, efficient in training and inference, and able to generate high quality texture. Given an exemplary texture, TGHop first crops many sample patches out of it to form a collection of sample patches called the source. Then, it analyzes pixel statistics of samples from the source and obtains a sequence of fine-to-coarse subspaces for these patches by using the PixelHop++ framework. To generate texture patches with TGHop, we begin with the coarsest subspace, which is called the core, and attempt to generate samples in each subspace by following the distribution of real samples. Finally, texture patches are stitched to form texture images of a large size. It is demonstrated by experimental results that TGHop can generate texture images of superior quality with a small model size and at a fast speed.

研究の動機と目的

• 深層学習に基づくテクスチャ生成手法の限界に対処する。これらの手法はしばしば巨大で計算コストが高く、理論的解釈可能性に欠ける。
• 高視覚的品質を維持しながら数学的に透明性のある軽量で効率的なテクスチャ生成フレームワークを開発する。
• GAN や CNN で一般的なエンドツーエンドの誤差逆伝播を避けることで、モデルサイズの削減を図り、高速なトレーニングと推論を実現する。
• 先行研究（NITES）を改善するため、空間PCAの導入と部分空間生成の体系的分析を実施し、より高い品質とより小さなモデルサイズを達成する。

提案手法

• 与えられた例示テクスチャから多数の小さなパッチを切り出し、分析用のソースデータセットを構築する。
• ピクセル統計の分析と逐次的次元削減を適用することで、ピクセルHop++フレームワークを用いて細かいスケールから粗いスケールへの部分空間のシーケンスを抽出する。
• 空間主成分分析（PCA）を用いて空間応答を非相関化し、冗長性を低減することで、モデルの圧縮を可能にする。
• 実サンプルの分布をマッチングすることで、ICHMモジュールを備えたコアモデルを用いて、最も粗い部分空間（コア）からサンプルを生成する。
• 部分空間変換パスを逆方向に実行することで、粗いスケールから細かいスケールへと段階的に空間解像度を向上させ、高解像度パッチを再構成する。
• 重複領域とブレンド技術を用いて、生成されたパッチを大規模なテクスチャ画像にスタイリッシュに接合する。

実験結果

リサーチクエスチョン

• RQ1 大規模なディープニューラルネットワークに依存せずに、軽量で説明可能なテクスチャ生成手法を設計できるか？
• RQ2 ピクセルHop++を用いた逐次的部分空間学習は、テクスチャ生成の品質とモデル効率をどのように向上させるか？
• RQ3 空間PCAの導入は、従来の手法と比較してモデルサイズと生成品質にどのような影響を与えるか？
• RQ4 提案手法は、従来のGAN や CNN に基づくアプローチと比較して、顕著に少ないパラメータ数で競争力のあるテクスチャ品質を達成できるか？
• RQ5 SDRにおけるしきい値パラメータγは、モデルサイズとテクスチャ忠実度のトレードオフにどのように影響するか？

主な発見

• TGHopは、240万パラメータというわずかなモデルサイズで、[19]（85万2千パラメータ）や[24]（205万5千パラメータ）といった類似手法よりも優れたテクスチャ品質を達成している。
• SDRのしきい値γを調整することで、モデルサイズを372万（γ=0）から19万（γ=0.1）にまで削減可能であり、γ=0.04まで品質劣化は最小限に抑えられる。
• TGHopに空間PCAを導入したことで、この要素を欠いていた先行研究NITESと比較し、モデルサイズの削減とテクスチャ品質の向上が達成された。
• 実験では、クラスタ数N=50では過剰な彩度のアーチファクトが生じるが、N=100～200ではより良い品質が得られ、N=100を超えると利得の減少が顕著になる。
• 本手法は、誤差逆伝播の不在と軽量なアーキテクチャのおかげで、高品質なテクスチャパッチを迅速に生成し、高速な推論速度を示している。
• 視覚的結果から、TGHopはパッチベースの合成手法で一般的な繰り返しパターンを避けて、知覚的なテクスチャの規則性を保持していることが確認された。