[論文レビュー] Texture Reformer: Towards Fast and Universal Interactive Texture Transfer

Zhizhong Wang, Lei Zhao+5 more|arXiv (Cornell University)|Dec 6, 2021

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、ユーザー指定のセマンティックマップを用いてインタラクティブなテクスチャ転送を高速かつ汎用的に行うためのニューラルフレームワーク、Texture Reformerを提案する。このフレームワークは、視覚的特徴再構成（VSTR）と統計ベースの強化を組み合わせた、前向き伝搬型で複数視点・複数段階の合成パイプラインを採用しており、最新の手法と比較して2〜5桁の高速化を達成しながら、構造を保持した高品質な結果を実現する。

ABSTRACT

In this paper, we present the texture reformer, a fast and universal neural-based framework for interactive texture transfer with user-specified guidance. The challenges lie in three aspects: 1) the diversity of tasks, 2) the simplicity of guidance maps, and 3) the execution efficiency. To address these challenges, our key idea is to use a novel feed-forward multi-view and multi-stage synthesis procedure consisting of I) a global view structure alignment stage, II) a local view texture refinement stage, and III) a holistic effect enhancement stage to synthesize high-quality results with coherent structures and fine texture details in a coarse-to-fine fashion. In addition, we also introduce a novel learning-free view-specific texture reformation (VSTR) operation with a new semantic map guidance strategy to achieve more accurate semantic-guided and structure-preserved texture transfer. The experimental results on a variety of application scenarios demonstrate the effectiveness and superiority of our framework. And compared with the state-of-the-art interactive texture transfer algorithms, it not only achieves higher quality results but, more remarkably, also is 2-5 orders of magnitude faster. Code is available at https://github.com/EndyWon/Texture-Reformer.

研究の動機と目的

• 反復的最適化やCPU負荷の高い処理に起因する、従来のインタラクティブテクスチャ転送手法の遅さという制限を解消すること。
• ドローイングからアートへの変換、パターン編集、テキストエフェクト転送、バーチャルトライオンといった多様なテクスチャ転送タスクを、1つの汎用フレームワークで統合すること。
• 構造の整合性と詳細なテクスチャディティールを保ちながら、著しく高速な推論速度を達成すること。
• 学習を必要とせず、各入力に対して再トレーニングが不要な前向き伝搬型アーキテクチャを構築し、リアルタイムのユーザーインタラクションを可能にすること。

提案手法

• グローバル構造のアライメント、ローカルテクスチャの精緻化、包括的効果の強化の3段階からなる、粗くから細かくまでの合成パイプラインを採用する。
• 構造の保持とアライメントを学習なしで向上させるために、新しい視覚的特徴再構成（VSTR）演算を導入する。このVSTRはセマンティックマップのガイドに従って動作する。
• VSTRは2段階に分けられる：まずグローバルビューがソーステクスチャの構造を捉えアライメントし、次にローカルビューが細部を精緻化する。
• 最終段階では統計ベースの強化（SE）操作を適用し、色、明るさ、コントラストといった低レベルの効果を改善する。
• パイプライン全体は事前学習済みのオートエンコーダーを用いて実装されており、推論時にバックプロパゲーションや最適化を必要としない。
• VSTRとSEが学習フリーであり、ネットワークが前向き伝搬型であるため、本手法は汎用的かつ効率的であり、CPUまたはGPU上でリアルタイム性能を達成できる。

実験結果

リサーチクエスチョン

• RQ1 反復的最適化や学習ベースの精緻化に依存せずに、汎用的で高速かつ高品質なインタラクティブテクスチャ転送フレームワークを構築可能か？
• RQ2 ドローイングなどの詳細が少ないセマンティックマップを、局所構造を保持しながら正確なテクスチャ転送に効果的に活用できるか？
• RQ3 前向き伝搬型で多段階のアーキテクチャは、従来の最適化ベース手法に比べて、速度と品質の両面でどれほど優れているか？
• RQ4 学習フリーな演算であるVSTRは、微分可能で学習ベースの代替手法よりも優れた構造の保持とセマンティックアライメントを達成できるか？

主な発見

• 提案手法は、SOTA手法と比較して2〜5桁の高速化を達成しており、256×256解像度の画像ではGPUで0.232秒、CPUで2.573秒の推論時間である。
• 512×512解像度では、GPUで0.956秒、CPUで12.381秒で実行され、T-Effect や CFITT といった競合手法を大きく上回っている。
• ユーザー評価の結果、32.1%の参加者がTexture Reformerの結果を他の手法よりも好んだ。これは、T-Effect（23.8%）、CFITT（26.2%）、Neural Doodle（10.3%）、STROTSS（7.6%）を上回る。
• LPIPSとスタイル損失が低く抑えられており、元のテクスチャ構造と包括的スタイルの保持が良好であることが確認され、知覚的品質が優れている。
• ドローイングからアートへの変換、パターン編集、テキストエフェクト転送、バーチャルトライオンといった多様なタスクにわたり、強力なロバストネスと汎用性を示している。
• シンプルであるがゆえに優れた性能を発揮しており、画像ごとの再トレーニングや複雑な最適化が不要であるため、インタラクティブな応用に最適である。