[論文レビュー] PhotoWCT$^2$: Compact Autoencoder for Photorealistic Style Transfer Resulting from Blockwise Training and Skip Connections of High-Frequency Residuals

Tai-Yin Chiu, Danna Gurari|arXiv (Cornell University)|Oct 22, 2021

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

PhotoWCT² は、ブロック単位の学習と高周波成分の残差スキップ接続を用いたコンactなオートエンコーダーを導入し、写真的にリアルなスタイル変換を実現。従来の PhotoWCT や WCT² よりも 30.3% 少ないパラメータ数で、4K解像度をサポートし、より高速な推論を達成し、最先端のスタイル変換品質を実現した。

ABSTRACT

Photorealistic style transfer is an image editing task with the goal to modify an image to match the style of another image while ensuring the result looks like a real photograph. A limitation of existing models is that they have many parameters, which in turn prevents their use for larger image resolutions and leads to slower run-times. We introduce two mechanisms that enable our design of a more compact model that we call PhotoWCT$^2$, which preserves state-of-art stylization strength and photorealism. First, we introduce blockwise training to perform coarse-to-fine feature transformations that enable state-of-art stylization strength in a single autoencoder in place of the inefficient cascade of four autoencoders used in PhotoWCT. Second, we introduce skip connections of high-frequency residuals in order to preserve image quality when applying the sequential coarse-to-fine feature transformations. Our PhotoWCT$^2$ model requires fewer parameters (e.g., 30.3\% fewer) while supporting higher resolution images (e.g., 4K) and achieving faster stylization than existing models.

研究の動機と目的

• 高パラメータ数と高い計算コストを抱える既存の写真的スタイル変換モデルが、高解像度（例：4K）画像やリソース制限のあるデバイスでの利用を制限している問題に対処する。
• PhotoWCT における段階的オートエンコーダーの非効率性を克服し、粗くから細かくまでの特徴変換を実現する単一のコンactなオートエンコーダーを、ブロック単位の学習により訓練することで置き換える。
• エンコーディング中に失われる微細なディテールをよりよく復元できるように、マックスプーリングのスキップ接続を高周波成分の残差スキップ接続に置き換えることで、画像再構成品質を向上させる。
• PhotoWCT と同等の強いスタイル変換強度を実現しながら、既存の手法よりも高速な推論と、より高い解像度対応を達成する。

提案手法

• 段階的（粗くから細かく）に特徴変換を実現する単一のオートエンコーダーを、ブロック単位の学習により段階的に訓練することで、PhotoWCT の段階的構造を模倣するが、複数の別々のネットワークを必要としない。
• 粗くから細かくまでの特徴変換を1つのネットワークでするコンパクトなオートエンコーダー構造を設計し、パラメータ数と推論時間を削減する。
• 特徴マップから抽出した高周波成分の残差に基づくスキップ接続を実装し、エンコーディング中に失われる微細な画像ディテールの回復をよりよく実現する。
• ウェーブレットに基づく信号処理の原則をもとに、高周波成分の残差スキップ接続の設計をガイドすることで、理論的・実験的両面で再構成忠実度の向上を確保する。
• エンコーダーからデコーダーへの内向き（粗くから細かく）と、デコーダーからエンコーダーへの外向き（細かくから粗く）の両方向に学習を実行し、訓練の安定性とスケール間の特徴アライメントを向上させる。
• マックスプーリングのインデックスを学習可能な高周波成分の残差スキップ接続に置き換えることで、モデルの複雑さを増さずに再構成品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 単一のコンパクトなオートエンコーダーは、PhotoWCT が採用する4つのオートエンコーダーを段階的に接続した構造と同等のスタイル変換強度を達成できるか？
• RQ2 ブロック単位の学習により、1つのネットワーク内で効果的な粗くから細かくまでの特徴変換が実現可能であり、高いスタイル変換品質を維持できるか？
• RQ3 高周波成分の残差スキップ接続は、従来のマックスプーリングインデックスよりも、スタイル変換中に画像ディテールをよりよく保持できるか？
• RQ4 提案手法は、最先端の手法と比較して、モデルパラメータ数と推論時間をどれほど削減できるか、4K解像度のサポートは果たせるか？
• RQ5 ブロック単位の学習と高周波成分の残差スキップ接続の組み合わせが、写真的リアリズムとスタイル変換の忠実度にどのように影響を与えるか？

主な発見

• PhotoWCT² は、PhotoWCT と比較してモデルパラメータ数を 30.3% 減少させながら、最先端のスタイル変換強度と写真的リアリズムを維持した。
• モデルは 4K 解像度（830万画素）をサポートし、既存の手法（PhotoWCT や WCT²）よりも高速なスタイル変換推論を達成した。
• ブロック単位の学習により、単一のオートエンコーダーが PhotoWCT の段階的構造が果たす粗くから細かくまでの特徴変換を再現でき、複数のネットワークを必要としなくなった。
• 高周波成分の残差に基づくスキップ接続は、標準的なオートエンコーダーのエンコーディングで失われる微細なディテールをよりよく復元することで、画像再構成品質を顕著に向上させた。
• アブレーションスタディの結果、最高レベルの残差スキップ接続（例：enc₄blk₄ と dec_btblk₄）を削除すると顕著な画像品質の低下が生じ、それらの重要性が裏付けられた。
• DPST データセットにおける定性的・定量的評価から、PhotoWCT² は PhotoWCT や WCT² と同等のスタイル変換性能を達成しているが、処理時間はその数分のの一にまで短縮された。