[論文レビュー] ArtFlow: Unbiased Image Style Transfer via Reversible Neural Flows

Jie An, Siyu Huang+4 more|arXiv (Cornell University)|Mar 31, 2021

Generative Adversarial Networks and Image Synthesis参考文献 61被引用数 21

ひとこと要約

ArtFlowは、損失のない、偏りのない前向きおよび後向き推論を可能にする、可逆なニューラルフローに基づくフレームワークを提案する。コンテンツ漏洩を排除するため、自己符号化器ベースの特徴抽出を、学習可能で可逆なネットワークを用いたプロジェクション・トランスファー・リバーションパイプラインに置き換える。これにより、複数回のスタイル化処理を経ても劣化が生じない、最先端の性能を達成する。

ABSTRACT

Universal style transfer retains styles from reference images in content images. While existing methods have achieved state-of-the-art style transfer performance, they are not aware of the content leak phenomenon that the image content may corrupt after several rounds of stylization process. In this paper, we propose ArtFlow to prevent content leak during universal style transfer. ArtFlow consists of reversible neural flows and an unbiased feature transfer module. It supports both forward and backward inferences and operates in a projection-transfer-reversion scheme. The forward inference projects input images into deep features, while the backward inference remaps deep features back to input images in a lossless and unbiased way. Extensive experiments demonstrate that ArtFlow achieves comparable performance to state-of-the-art style transfer methods while avoiding content leak.

研究の動機と目的

• 最新のユニバーサルスタイル転送手法におけるコンテンツ漏洩現象に取り組む。これは、繰り返しのスタイル化処理によってコンテンツの忠実度が低下する現象である。
• 従来の手法におけるコンテンツ漏洩の根本的原因を同定する。具体的には、復元誤差やデコーダーおよびスタイル転送モジュールにおける偏りの訓練が原因である。
• 公平な比較と複数回のスタイル化処理における強固なスタイル転送を可能にする、可逆的で偏りのない特徴抽出および再構成メカニズムを開発する。
• 前向きおよび後向き推論の両方において、可逆なニューラルフローを活用することで、損失のないコンテンツ・スタイル分離と再構成を実現する。
• 最先端の手法と同等の視覚的品質を達成するとともに、繰り返しのスタイル化処理によるコンテンツの損傷を完全に排除する。

提案手法

• GLOWをインspiredとして、可逆な$1\times1$畳み込み、活性化正規化、アフィンカップリング層を用いた、ニューラルフローに基づくプロジェクション・フロー・ネットワーク（PFN）を導入する。
• プロジェクション・トランスファー・リバーションパイプラインを実装する：前向き推論でコンテンツ画像とスタイル画像を深層特徴に投影し、偏りのないスタイル転送を実行した後、後向き推論で損失のない再構成を実現する。
• PFNを用いて前向きおよび逆方向の推論を可能にし、特徴抽出および画像回復に復元誤差や偏りが生じないことを保証する。
• 既存手法（例：AdaIN、WCT、Avatar-Net）におけるVGG19ベースの自己符号化器をPFNに置き換えることで、スタイル転送モジュールのアーキテクチャを変更せずに偏りのないスタイル転送を実現する。
• スタイル転送モジュールのバイアスに関する理論的および実験的分析を実施し、Avatar-Netのスタイルデコレーターがスタイルに偏っているのに対し、AdaINおよびWCTはバイアスがないことを同定する。
• 偏りのないモジュール（AdaIN、WCT）をPFNと統合してArtFlowを構築し、複数回のスタイル化イテレーションにおいて公平で安定したパフォーマンスを実現する。

Figure 1: Content leak visualization. Existing style transfer methods are not effective to preserve image content after several rounds of stylization process as shown in (d), although their performance is state-of-the-art in the first round as shown in (c).

実験結果

リサーチクエスチョン

• RQ1 繰り返しのスタイル化処理において、既存のユニバーサルスタイル転送手法にコンテンツ漏洩が生じる原因は何か？
• RQ2 可逆的で可逆なニューラルネットワークは、特徴抽出および画像回復における復元誤差とバイアスを排除できるか？
• RQ3 PFNベースのフレームワークは、自己符号化器ベースの手法と比較して、複数回のスタイル化処理におけるコンテンツ忠実度の保持にどの程度優れているか？
• RQ4 AdaIN、WCT、Avatar-Netのうち、どのスタイル転送モジュールが本質的にバイアスがないか？また、これはArtFlowフレームワークにおけるパフォーマンスにどのように影響するか？
• RQ5 ArtFlowは、最先端の手法と同等の視覚的品質を達成できるか？また、コンテンツ漏洩を完全に排除できるか？

主な発見

• ArtFlowは、20回のスタイル化処理後でさえも、コンテンツ漏洩を効果的に防止する。一方、ヴァニラAdaIN、WCT、Avatar-Netは、深刻なコンテンツ劣化を示す。
• PFNベースのフレームワークにより、損失のない、偏りのない画像再構成が可能であることが実証された。これは、AdaINおよびWCTと比較して、逆投影されたコンテンツ特徴のシャープネスと忠実度の高さによって裏付けられている。
• ユーザー評価では、ArtFlowが799票中314票を獲得し、全手法の中で最高得点を記録した。これは、視覚的品質が最先端の手法と同等またはそれを上回ることを示している。
• 理論的および実験的分析により、AdaINおよびWCTモジュールはバイアスがないことが確認された。一方、Avatar-Netのスタイルデコレーターはスタイルに偏っているため、PFNを用いても依然としてコンテンツ漏洩が継続する。
• ArtFlow+WCTは、マルチレベルスタイル化の削除により、ヴァニラWCTよりも高速である。また、ArtFlow+AdaINはコンテンツ漏洩を回避しながらも、高いパフォーマンスを維持する。
• ArtFlowによるコンテンツ・スタイル分離は、残存するスタイル効果を抑えた、クリアでシャープなコンテンツ表現を生成する。これに対して、AdaINおよびWCTは、残留スタイル効果を残す。

Figure 2: A comparison between the auto-encoder based style transfer framework and the proposed ArtFlow framework.