[論文レビュー] High-Resolution Network for Photorealistic Style Transfer

Ming Li, Chunyang Ye+1 more|arXiv (Cornell University)|Apr 25, 2019

Generative Adversarial Networks and Image Synthesis参考文献 26被引用数 10

ひとこと要約

本稿では、特徴マップのダウンサンプリングを回避し、ネットワーク全体で高解像度を維持することで、細かな構造的詳細を保持し、歪みを最小限に抑える高解像度生成ネットワークを提案する。マルチスケール特徴統合を用いた並列な高解像度および低解像度サブネットワークを採用することで、優れた視覚的品質と高速な推論を達成し、従来の手法よりも性能が優れている。

ABSTRACT

Photorealistic style transfer aims to transfer the style of one image to another, but preserves the original structure and detail outline of the content image, which makes the content image still look like a real shot after the style transfer. Although some realistic image styling methods have been proposed, these methods are vulnerable to lose the details of the content image and produce some irregular distortion structures. In this paper, we use a high-resolution network as the image generation network. Compared to other methods, which reduce the resolution and then restore the high resolution, our generation network maintains high resolution throughout the process. By connecting high-resolution subnets to low-resolution subnets in parallel and repeatedly multi-scale fusion, high-resolution subnets can continuously receive information from low-resolution subnets. This allows our network to discard less information contained in the image, so the generated images may have a more elaborate structure and less distortion, which is crucial to the visual quality. We conducted extensive experiments and compared the results with existing methods. The experimental results show that our model is effective and produces better results than existing methods for photorealistic image stylization. Our source code with PyTorch framework will be publicly available at https://github.com/limingcv/Photorealistic-Style-Transfer

研究の動機と目的

• 写実的スタイル転送において、特に特徴マップをダウンサンプリングする深層ニューラルネットワークで生じる構造的歪みや詳細の損失を解消すること。
• 生成プロセス中に高解像度表現を維持することで視覚的忠実度を向上させ、解像度の低下とその後のアップスケーリングを回避すること。
• スタイル転送の正確性と意味的・構造的保持の両立を図る、より効果的で効率的なスタイル転送フレームワークの開発。
• 特にコンテンツ構造の保持とアーティファクトの低減に重点を置き、定量的・定性的な指標において既存手法を上回ること。

提案手法

• 本手法は、フォワードパス全体で完全な解像度を維持する高解像度生成ネットワークを採用し、ダウンサンプリングとその後のアップスケーリングを回避する。
• 並列に配置された高解像度および低解像度サブネットワークが、マルチスケール連結によって統合され、高解像度特徴が低解像度特徴からの文脈的情報を受ける。
• 異なるスケールの特徴マップを直接連結することで、Inceptionモジュールを参考にしたマルチレベル特徴統合を強化する。
• バッフルネック残差ブロックを用いることで、トレーニングの安定化と収束の高速化を図りながら、視覚的品質を維持する。
• コンテンツ損失およびスタイル損失の計算に、事前学習済みのVGG19を損失ネットワークとして使用した。本タスクにおいてVGG16よりも優れた性能を示した。
• ピクセル空間にラプラシアン損失を適用することで、低レベルの詳細を保持し、生成画像の歪みを低減する。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク全体で高解像度を維持することで、写実的スタイル転送における構造的詳細の保持が向上するか？
• RQ2 高解像度および低解像度サブネットワーク間のマルチスケール特徴統合は、スタイライズド画像の品質と忠実度にどのように影響するか？
• RQ3 損失ネットワークとしてVGG19をVGG16の代わりに使用することで、写実的スタイル転送の性能が向上するか？
• RQ4 既存のニューラルスタイル転送手法と比較して、本手法は歪みおよびアーティファクトをどの程度低減するか？
• RQ5 本手法のアーキテクチャは、視覚的品質を維持または向上させつつ、より高速な推論速度を達成できるか？

主な発見

• Reinhard et al. (2001) や Pitie et al. (2005) と比較して、ユーザーの好み評価で、より多くの意味的情報を含むとされた割合が53.27%、より良い視覚的効果とされた割合が62.81%に上昇し、明確に優れた知覚的品質を示した。
• Neural Style、CNNMRF、Luan et al. (2017) と比較して、より多くの意味的情報を含むとされた割合が53.76%、より良い視覚的効果とされた割合が50.54%に上昇し、優れた知覚的品質を示した。
• 512×512解像度の画像生成に126.84 msの速度を達成し、Johnson et al. (2016) や Luan et al. (2017) よりも顕著に高速で、推論効率の向上を示した。
• 定性的な比較により、構造的歪みが低減され、細かな詳細が保持されていることが裏付けられており、アーティファクトが少なく、コンテンツ構造の正確な保持が確認された。
• アブレーションスタディにより、損失ネットワークとしてVGG19を使用した場合、VGG16よりも優れた性能を示したことが確認された。
• 512×512解像度においてPSNRが19.82、SSIMが0.873を達成し、強力な知覚的および構造的忠実度を示した。