[論文レビュー] ETNet: Error Transition Network for Arbitrary Style Transfer

Chunjin Song, Zhijie Wu+3 more|arXiv (Cornell University)|Oct 26, 2019

Generative Adversarial Networks and Image Synthesis被引用数 11

ひとこと要約

ETNetは、空間的およびスケールに注意を払った誤差遷移を用いて、反復的な誤差補正フレームワークを提案する。このフレームワークは、スタイリゼーションを段階的誤差補正としてモデル化することで、優れた意味的整合性とスタイリングの詳細を達成し、ベンチマークデータセット上で7.1984のスタイル損失と33.3%のユーザー好みスコアを達成し、最先端の手法を上回る定量的・定性的な性能を発揮する。

ABSTRACT

Numerous valuable efforts have been devoted to achieving arbitrary style transfer since the seminal work of Gatys et al. However, existing state-of-the-art approaches often generate insufficiently stylized results under challenging cases. We believe a fundamental reason is that these approaches try to generate the stylized result in a single shot and hence fail to fully satisfy the constraints on semantic structures in the content images and style patterns in the style images. Inspired by the works on error-correction, instead, we propose a self-correcting model to predict what is wrong with the current stylization and refine it accordingly in an iterative manner. For each refinement, we transit the error features across both the spatial and scale domain and invert the processed features into a residual image, with a network we call Error Transition Network (ETNet). The proposed model improves over the state-of-the-art methods with better semantic structures and more adaptive style pattern details. Various qualitative and quantitative experiments show that the key concept of both progressive strategy and error-correction leads to better results. Code and models are available at https://github.com/zhijieW94/ETNet.

研究の動機と目的

• 複雑なコンテンツ-スタイルペアにおいて、意味的構造やスタイリングパターンを保持できない単一ステップのスタイリゼーション手法の限界を解消すること。
• 誤差を段階的に補正する複数の精錬段階にタスクを分解することで、スタイリゼーション品質を向上させること。
• 空間的およびマルチスケール表現における誤差特徴を学習することで、任意のスタイリゼーションにおける一般化性と適応性を向上させること。
• 段階的でピラミッド型の精錬アーキテクチャを通じて、コンテンツ保持とスタイリング忠実度のバランスを図ること。

提案手法

• ETNetは、スタイライズド出力と正解のコンテンツ-スタイルペア間の知覚的損失を計算するため、VGGベースのエンコーダを用いて深層特徴を抽出する。
• 誤差特徴は、現在のスタイライズド出力と正解との差分として計算され、類似度に基づくアテンション機構を用いて画像全体に拡散される。
• マルチスケール誤差遷移モジュールは、非局所ブロックを用いて粗いレベルから細かいレベルへ誤差を伝搬させ、長距離依存性を捉える。
• ETNetのデコーダは、処理された誤差特徴をリサイクル画像に変換し、それを現在のスタイライズド画像に加算することで、反復的な精錬が行われる。
• フレームワークはラプラシアンピラミッドとして構造化されており、効率的なマルチスケール誤差伝搬を実現する粗いから細かい精錬が可能である。
• 実行時制御メカニズムにより、パrameter α を用いたコンテンツとスタイリング誤差特徴の補間によって、スタイリング強度を調整可能である。

実験結果

リサーチクエスチョン

• RQ1 反復的誤差補正は、単一ステップ生成を上回る任意のスタイリゼーションの品質向上に寄与するか？
• RQ2 誤差特徴は、空間的およびスケール空間を効果的に伝搬させることで、意味的構造とスタイリングテクスチャの両方を保持できるか？
• RQ3 自己補正メカニズムは、知覚的品質とユーザー好みの面で、既存のフォワードパススタイリゼーションモデルを上回るか？
• RQ4 同じトレーニング済みモデルを、他のスタイリゼーション手法の出力を精錬するためにどの程度再利用できるか？
• RQ5 複雑なスタイリゼーションシナリオにおいて、本手法はコンテンツ忠実度とスタイリング適合性のバランスをどの程度適切に保てるか？

主な発見

• ベンチマークデータセット上でETNetは7.1984のスタイル損失を達成し、WCT（26.1967）、Avatar-Net（42.8833）、AAMS（40.2651）を大きく下回り、優れたスタイリングパターンの捉え具合を示している。
• ユーザー好みの調査では、ETNetは33.3%の票を獲得し、AdaIN（16.1%）、WCT（26.4%）、Avatar-Net（13.0%）、AAMS（11.2%）を上回り、強力な知覚的品質を示している。
• 1枚あたり0.5680秒の実行時間で、WCT（0.7590秒）やAvatar-Net（1.1422秒）を上回り、最も速い手法AdaIN（0.1484秒）と同等の性能を維持している。
• ETNetはAdaINおよびWCTの出力を効果的に精錬し、色の分布の一貫性を向上させるとともに、明確なブラシストロークのパターンを強化している。
• 実行時制御パrameter α を用いることで、再トレーニングなしに、繊細なから強いスタイリングへの滑らかな調整が可能である。
• 視覚的結果では、ETNetは極めて複雑なスタイリング画像に対しても意味的構造とテクスチャの一貫性を維持しているのに対し、ベースライン手法は歪みを引き起こしている。