[論文レビュー] NITES: A Non-Parametric Interpretable Texture Synthesis Method

Xuejing Lei, Ganning Zhao+1 more|arXiv (Cornell University)|Sep 2, 2020

Generative Adversarial Networks and Image Synthesis参考文献 28被引用数 10

ひとこと要約

NITESは、チャネル別Saab変換を用いた逐次的部分空間埋め込みにより、テクスチャパッチの共同空間的・スペクトル的統計をモデル化する非パrametricで解釈可能なテクスチャ合成手法を提案する。深層学習ベースの手法と比較して、数学的透明性と低コストを維持しながら、顕著に高速な推論（256×256で213秒）と高品質で多様なテクスチャ生成を実現する。

ABSTRACT

A non-parametric interpretable texture synthesis method, called the NITES method, is proposed in this work. Although automatic synthesis of visually pleasant texture can be achieved by deep neural networks nowadays, the associated generation models are mathematically intractable and their training demands higher computational cost. NITES offers a new texture synthesis solution to address these shortcomings. NITES is mathematically transparent and efficient in training and inference. The input is a single exemplary texture image. The NITES method crops out patches from the input and analyzes the statistical properties of these texture patches to obtain their joint spatial-spectral representations. Then, the probabilistic distributions of samples in the joint spatial-spectral spaces are characterized. Finally, numerous texture images that are visually similar to the exemplary texture image can be generated automatically. Experimental results are provided to show the superior quality of generated texture images and efficiency of the proposed NITES method in terms of both training and inference time.

研究の動機と目的

• 深層学習ベースのテクスチャ合成手法における数学的透明性の欠如と高コストの問題に対処すること。
• 深層ニューラルネットワークの代替として、非パrametricで解釈可能なテクスチャ合成手法の開発。
• 共同空間的・スペクトル的空間における逐次的部分空間埋め込みと確率的モデリングを活用することで、効率的な学習と推論を実現すること。
• 単一の例示例から、パッチレベルの統計のみを用いて、多様で視覚的に現実的なテクスチャ画像を生成すること。
• データ駆動型で透明なフレームワークが、深層学習ベースの手法と同等またはそれを上回る品質のテクスチャ合成を達成できることを示すこと。

提案手法

• チャネル別（c/w）Saab変換を用いて、テクスチャパッチからの共同空間的・スペクトル的表現を抽出し、逐次的部分空間学習を可能にする。
• 次第に次元が減少する部分空間の階層 S₀ ⊃ S₁ ⊃ ... ⊃ Sₙ を構築し、S₀ を拡張された入力空間、Sₙ をコア部分空間とする。
• 訓練サンプルの確率的分布をコア部分空間で特徴づけ、学習済み分布からのサンプリングによりコア部分空間の生成を実現する。
• 逐次的部分空間生成は、条件付き確率モデルを用いて低次元部分空間から高次元部分空間を再構築することで再帰的に実行される。
• テクスチャ画像は、コア部分空間でパッチを生成し、それらを逐次的部分空間に上位に伝搬させ、キルティング処理により接合することで合成される。
• 前方埋め込みステップは例示例ごとに一度のみ実行され、以降の生成ではこのモデルを再利用できるため、高速な推論が可能となる。

実験結果

リサーチクエスチョン

• RQ1 非パrametricで解釈可能な手法が、深層学習と同等のテクスチャ合成品質を達成できるか。
• RQ2 チャネル別Saab変換による逐次的部分空間埋め込みが、テクスチャ合成の効率性と解釈可能性をどのように向上させるか。
• RQ3 低次元コア部分空間における確率的モデリングが、多様で高品質なテクスチャ生成を可能にするか。
• RQ4 提案フレームワークにおける部分空間次元と生成品質のトレードオフは何か。
• RQ5 このフレームワークは、画像補完や顔生成などの他の画像生成タスクへも拡張可能か。

主な発見

• NITESは、Gatysら[12]の手法で観察されるような『茶色い靄』のようなアーチファクトのない、高品質で視覚的に快適なテクスチャ画像を生成する。
• 256×256の画像のテクスチャ生成時間は213.04秒であり、Gatysら[12]（513.98秒）やUstyuzhaninovら[17]（949.64秒）と比較して顕著に高速である。
• 逆方向生成プロセス（コア部分空間から元の部分空間への再構築）に108.03秒、前方埋め込みに24.24秒、キルティングに8.08秒を要しており、初期設定後は推論が極めて効率的であることが示された。
• NITESは、埋め込みモデルを再利用し、生成とキルティングステップを再実行することで、1つの例示例から複数の異なるテクスチャ画像を生成可能である。
• 本手法は、逐次的部分空間学習に基づく透明で非パrametricなフレームワークが、深層学習の合成品質に匹敵し、さらにはそれを上回ることを示した。同時に、解釈可能性が高く、計算コストも低い。
• 本フレームワークは汎用的であり、画像補完や顔・物体の生成といった他の画像生成タスクへの応用も可能である。