[論文レビュー] UMFA: A photorealistic style transfer method based on U-Net and multi-layer feature aggregation

Dongyu Rao, Xiao‐Jun Wu+3 more|arXiv (Cornell University)|Aug 13, 2021

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

本稿では、マルチレイヤー特徴集約（MFA）と適応インスタンス正規化（AdaIN）を組み合わせたU-Netアーキテクチャを用いた、フォトリッチなスタイル転送手法UMFAを提案する。エンコーダーに密結合ブロックとMFA強化スキップ接続を統合することで、UMFAはコンテンツの詳細を保持しつつフォトリッチなスタイルを転送し、スタイル損失が低く、構造的類似度が高いという最先端の性能を達成しており、マスクや後処理を必要とせずリアルタイム推論が可能である。

ABSTRACT

In this paper, we propose a photorealistic style transfer network to emphasize the natural effect of photorealistic image stylization. In general, distortion of the image content and lacking of details are two typical issues in the style transfer field. To this end, we design a novel framework employing the U-Net structure to maintain the rich spatial clues, with a multi-layer feature aggregation (MFA) method to simultaneously provide the details obtained by the shallow layers in the stylization processing. In particular, an encoder based on the dense block and a decoder form a symmetrical structure of U-Net are jointly staked to realize an effective feature extraction and image reconstruction. Besides, a transfer module based on MFA and "adaptive instance normalization" (AdaIN) is inserted in the skip connection positions to achieve the stylization. Accordingly, the stylized image possesses the texture of a real photo and preserves rich content details without introducing any mask or post-processing steps. The experimental results on public datasets demonstrate that our method achieves a more faithful structural similarity with a lower style loss, reflecting the effectiveness and merit of our approach.

研究の動機と目的

• フォトリッチなスタイル転送におけるコンテンツの歪みと詳細の損失を解消すること。
• 後処理やセグメンテーションマスクを必要とせず、高解像度画像のリアルタイムスタイル化を可能にすること。
• 新しいマルチレイヤー特徴集約（MFA）機構を用いて、マルチスケール特徴を活用することで特徴表現を向上させること。
• U-Netのスキップ接続とAdaIN、密結合ブロックを組み合わせることで、自然でフォトリッチなスタイル化を実現すること。
• スタイル化の質と推論速度のバランスを図り、両方の指標で既存手法を上回ること。

提案手法

• 効果的な特徴学習と画像再構築を実現するため、対称的なダウンサンプリングおよびアップサンプリングパスを持つU-Netベースのエンコーダーデコーダー枠組みを採用する。
• ダウンサンプリングモジュールに密結合ブロックを用いることで、特徴抽出を強化し、空間的詳細を保持する。
• スキップ接続にAdaINおよびMFAに基づく転送モジュールを挿入し、マルチスケール特徴表現を維持しながらスタイル転送を実行する。
• マルチレイヤー特徴集約（MFA）は、複数のレイヤーからの特徴を統合することで、スタイル化表現を豊かにし、特徴の表現力を向上させる。
• デコーダーはエンコーダーからのスキップ接続を用い、コンテンツ構造に忠実な高精度なスタイル化画像の再構築を実現する。
• スタイル転送の質とコンテンツ保持の最適化を図るため、グラム損失とペルセプトゥアル損失を用いてエンド・トゥ・エンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 マルチレイヤー特徴集約（MFA）を組み込んだU-Netベースのアーキテクチャは、フォトリッチなスタイル転送における詳細の保持を改善できるか？
• RQ2 エンコーダーデコーダー枠組みに密結合ブロックとMFAを統合することで、スタイル化の質と推論速度にどのような影響を与えるか？
• RQ3 提案手法は、マスクや後処理ステップを必要とせず、リアルタイムでのフォトリッチなスタイル転送を達成できるか？
• RQ4 AdaINとMFAを組み合わせることで、PhotoWCT や WCT2 といった既存手法よりも優れたスタイル転送性能が得られるか？
• RQ5 提案手法は、コンテンツ画像との高い構造的類似度を維持しつつ、どの程度スタイル損失を低減できるか？

主な発見

• UMFAは、比較対象の全手法の中で最小のグラム損失（8.996）を達成し、優れたスタイル転送忠実度を示している。
• ベンチマークデータセット上で最高のSSIM（0.612）を記録し、構造的コンテンツの強力な保持を示している。
• 主観評価では、36.9%のユーザーがUMFAを最高のスタイル化品質と評価し、AdaIN（13.2%）、PhotoWCT（25.1%）、WCT2（24.8%）を上回った。
• 1024×1024画像の処理に0.64秒で実行可能であり、PhotoWCT（3.66秒）やWCT2（6.06秒）と比べて10倍以上高速で、リアルタイム性能を実現している。
• スタイル化の質と速度の両立に成功しており、AdaINより優れた品質を達成するとともに、PhotoWCT や WCT2 よりも顕著に高速である。
• 視覚的結果から、UMFAはコンテンツ歪みが少なく、自然でフォトリッチな出力を得ており、テクスチャの詳細が強化されていることが確認された。