[論文レビュー] Neural Neighbor Style Transfer

Nicholas Kolkin, Michal Kučera+4 more|arXiv (Cornell University)|Mar 24, 2022

Generative Adversarial Networks and Image Synthesis被引用数 12

ひとこと要約

Neural Neighbor Style Transfer (NNST) は、コサイン距離と特徴ベクトルマッチングを用いてコンテンツ特徴を最近傍スタイル特徴に置き換えることで、芸術的スタイル転送を向上させ、最先端の視覚的品質を達成する。2つのバージョンを提供する：NNST-D（高速なフォワード伝搬）とNNST-Opt（最適化ベース）、両者ともガイドラインやアラインされたエクジンプラを必要とせず、忠実度、多様性、一般化性能において先行手法を上回る。

ABSTRACT

We propose Neural Neighbor Style Transfer (NNST), a pipeline that offers state-of-the-art quality, generalization, and competitive efficiency for artistic style transfer. Our approach is based on explicitly replacing neural features extracted from the content input (to be stylized) with those from a style exemplar, then synthesizing the final output based on these rearranged features. While the spirit of our approach is similar to prior work, we show that our design decisions dramatically improve the final visual quality.

研究の動機と目的

• ニューラル手法とパッチベース手法の間の視覚的品質のギャップを解消するために、特徴に基づくスタイル化を改善すること。
• 手動または自動のガイドラインを必要とせず、ブラシストロークなどの細粒度のスタイルディテールを保持すること。
• ドメイン固有のアラインメントを必要とせず、多様なコンテンツおよびスタイル画像に一般化可能な高品質なスタイル化を達成すること。
• 新しい特徴マッチングおよび事前処理技術を用いて、コンテンツ保持、スタイル忠実度、視覚的多様性のバランスを取ること。

提案手法

• コンテンツ画像のニューラル特徴を、特徴空間におけるコサイン距離を用いてスタイル例証から最近傍特徴に置き換える。
• コンテンツ特徴およびスタイル特徴の両方にゼロセンタリングを適用して、マッチングの安定性と品質を向上させる。
• パッチレベルではなくベクトル単位のマッチングを繰り返し行うことで、局所的ディテールの保持を強化する。
• 最も細かいスケールで繰り返し精錬を行うマルチスケール処理を実施し、特徴の一貫性を向上させる。
• 最終画像の合成を、エンドツーエンドで学習されたデコーダー（NNST-D）または最適化ベースのピクセル精錬（NNST-Opt）で行う。
• 目的関数に重み付き類似度項を追加することで、セグメンテーションマスクなどのオプションガイドラインを導入する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルスタイル転送手法が、手動または自動のガイドラインを必要とせずにパッチベースの品質を達成できるか？
• RQ2 パッチではなく個々の特徴ベクトルをマッチングすることで、スタイル転送の品質およびディテール保持にどのような影響を与えるか？
• RQ3 ゼロセンタリングとコサイン距離が、特徴マッチングおよび視覚的出力品質をどの程度向上できるか？
• RQ4 非パrametric特徴再配置とパラメトリック合成を組み合わせたハイブリッドアプローチは、高品質と効率性の両立を達成できるか？
• RQ5 アラインメントやドメイン固有のチューニングを必要とせず、多様なコンテンツおよびスタイル画像に一般化できるか？

主な発見

• NNST-D は、512×512 入力に対して数秒で実行可能であり、遅延の大きい最適化ベース手法と同等またはそれ以上の視覚的品質を達成する。
• NNST-Opt は、512×512 入力で 30 秒以上かかるが、先行する SOTA メソッドを上回る高品質な結果を生成し、400 人の参加者が行ったユーザースタディーでも顕著に優れていることが確認された。
• 高解像度下でもテクスチャおよびブラシストロークの忠実度が顕著に向上し、定性的な比較で先行するニューラル手法を上回った。
• コサイン距離とゼロセンタリングを用いた特徴ベクトルマッチングにより、視覚的多様性およびスタイル的正確性の測定可能な向上が得られた。
• ガイドライン（例：セグメンテーションマスク）を追加することで、意味的に意味のあるスタイル転送が可能となり、他のニューラル手法よりもスタイルディテールの保持が優れていた。
• NNST-Opt とパッチベース合成（例：Fišer et al.）を組み合わせることで 4K 出力が可能になり、高周波数ディテールを保持したまま、中規模構造の転送において NNST が優れた性能を示した。