[論文レビュー] Texture Mixer: A Network for Controllable Synthesis and Interpolation of Texture

Ning Yu, Connelly Barnes+3 more|arXiv (Cornell University)|Jan 11, 2019

Generative Adversarial Networks and Image Synthesis参考文献 47被引用数 10

ひとこと要約

Texture Mixerは、入力テクスチャを共有潜在空間に投影し、線形補間して画像空間に復元することで、インタラクティブで高品質なテクスチャの合成と補間を可能にする深層ニューラルネットワークを提案する。本手法は、リアリズム、制御性、滑らかさの面で最先端の性能を達成し、定量的指標およびユーザースタディーの両面でベースラインを上回る。

ABSTRACT

This paper addresses the problem of interpolating visual textures. We formulate this problem by requiring (1) by-example controllability and (2) realistic and smooth interpolation among an arbitrary number of texture samples. To solve it we propose a neural network trained simultaneously on a reconstruction task and a generation task, which can project texture examples onto a latent space where they can be linearly interpolated and projected back onto the image domain, thus ensuring both intuitive control and realistic results. We show our method outperforms a number of baselines according to a comprehensive suite of metrics as well as a user study. We further show several applications based on our technique, which include texture brush, texture dissolve, and animal hybridization.

研究の動機と目的

• 複数のテクスチャ間で画像空間内に現実的で制御可能な補間を実現する課題に対処すること。
• ゴースト化、シーム、繰り返しといったアーチファクトを回避しながら、テクスチャの配置やブレンドに対して直感的なユーザー制御を可能にすること。
• インタラクティブな速度で動作するフィードフォワードネットワークを構築し、テクスチャブラシや動物ハイブリダイゼーションなどの複数の応用をサポートすること。
• 再構成精度とリアルな補間を同時に最適化する統合モデルを訓練することにより、共有重みと共有潜在空間を用いること。

提案手法

• ネットワークは、再構成タスクと条件付き GAN を用いた補間タスクを同時に学習する共有エンコーダ・デコーダアーキテクチャを採用する。
• 入力テクスチャは共有潜在空間にエンコードされ、そこでの線形補間、タイリング、シャッフル操作により新しい潜在表現が生成される。
• 補間タスクでは、潜在コードの線形結合が画像ドメインで現実的でアーチファクトのないテクスチャを生成することを保証するための識別器が用いられる。
• 本手法は2つの潜在ベクトルを導入する：$z^l$ は局所的テクスチャモデリングに、$z^g$ はグローバル構造に使用され、$z^g$ は遷移の滑らかさを向上させる。
• 空間的繰り返しを解消し視覚的多様性を向上させるために、潜在空間にシャッフル操作が適用される。
• 推論時、ユーザーはソーステクスチャと補間ウェイトを指定し、それらが潜在空間に投影されて復元され、滑らかでリアルな合成画像が生成される。

実験結果

リサーチクエスチョン

• RQ1 1つのニューラルネットワークが、入力テクスチャの高精度再構成と、複数テクスチャ間の制御可能なリアルな補間を両立できるか？
• RQ2 潜在空間操作（補間、タイリング、シャッフル）を活用することで、多様でアーチファクトのないテクスチャコンポジションをどのように生成できるか？
• RQ3 再構成と adversarial 補間を共同で学習することで、別々に学習した場合と比較して、視覚的品質と制御性がどの程度向上するか？
• RQ4 $z^g$、ブレンド、シャッフルといったアーキテクチャ的要素が、補間テクスチャのリアリズムと滑らかさにどのように影響を与えるか？
• RQ5 テクスチャブラシやマテリアルブレンドのようなリアルタイム応用に適した、ユーザー制御可能なテクスチャ補間を効率的かつ実用的に実現できるか？

主な発見

• 提案手法は、すべての評価指標で最先端の性能を達成し、ユーザースタディーにおいても90％以上の好まれる率を示し、すべてのベースラインを上回った。
• ユーザースタディーでは、すべてのベースラインと比較してTexture Mixerに統計的に有意に好まれており、すべての手法ペairのp値が10^-6未満であった。
• アブレーションスタディーにより、$z^g$ を除去すると遷移が滑らかでなくなる一方、シャッフルを省略すると明確な繰り返しが現れることが確認され、視覚的品質におけるその重要性が示された。
• AdaIN、WCT、DeepFill、PSGANといった強力なベースラインと比較して、定量的指標および定性的な結果の両面で本手法が優れていることが示され、特にゴースト化や繰り返しアーチファクトの低減に優れている。
• 再構成と補間の両方の損失を含むことで、単一のタスクに特化したモデルよりも一般化性能とリアリズムが向上した。
• 本手法は、テクスチャブラシ、テクスチャの溶解、動物ハイブリダイゼーションといった実用的応用を可能にし、クリエイティブワークフローにおける実用性を示した。