[論文レビュー] Joint Bilateral Learning for Real-time Universal Photorealistic Style Transfer

Xide Xia, Meng Zhang+5 more|arXiv (Cornell University)|Apr 23, 2020

Generative Adversarial Networks and Image Synthesis参考文献 26被引用数 5

ひとこと要約

本稿では、バイラテラル空間における局所的なエッジに配慮したアフィン変換を学習するフィードフォワードニューラルネットワークを用いた、リアルタイムでフォトリズム的なスタイル変換を実現する手法を提案する。本手法は、フォトリズム性を保証する一方で、モバイルデバイス上で4Kリアルタイム性能を達成しており、先行手法と比較して3桁以上高速である。また、不鮮明なアーティファクトのない明確な結果を生成し、未知の入力に対しても滑らかに劣化する。

ABSTRACT

Photorealistic style transfer is the task of transferring the artistic style of an image onto a content target, producing a result that is plausibly taken with a camera. Recent approaches, based on deep neural networks, produce impressive results but are either too slow to run at practical resolutions, or still contain objectionable artifacts. We propose a new end-to-end model for photorealistic style transfer that is both fast and inherently generates photorealistic results. The core of our approach is a feed-forward neural network that learns local edge-aware affine transforms that automatically obey the photorealism constraint. When trained on a diverse set of images and a variety of styles, our model can robustly apply style transfer to an arbitrary pair of input images. Compared to the state of the art, our method produces visually superior results and is three orders of magnitude faster, enabling real-time performance at 4K on a mobile phone. We validate our method with ablation and user studies.

研究の動機と目的

• モバイルデバイス上でリアルタイムに動作する、エンドツーエンドのニューラルネットワークを構築し、普遍的なフォトリズム的スタイル変換を実現すること。
• 色空間における局所的なアフィンマッピングにより、エッジ構造と色彩の一貫性を保つことでフォトリズム性を強制すること。
• グリッドベースのスタイル変換手法に一般的に見られる空間的グリッドアーティファクトを排除すること。
• 分布外または敵対的入力に対してもロバストであり、滑らかに劣化する性能を確保すること。
• 推論時に後処理や最適化を一切行わず、高い性能を達成すること。

提案手法

• モデルは、各ピクセルの変換が局所的にアフィンかつエッジに配慮するバイラテラル空間におけるアフィン変換を予測するフィードフォワードディープニューラルネットワークを用いる。
• ネットワークは、入力画像をスタイライズド出力にマッピングするため、局所的なアフィン変換を表すバイラテラルグリッドの係数を予測する。
• グリッドアーティファクトを抑制し、空間的な滑らかさを向上させるために、バイラテラル空間ラプラシアン正則化子を導入する。
• フォトリズム性の制約を、色空間における局所的アフィンマッピングを通じて強制する。
• 推論では、係数予測のための低解像度特徴抽出ヘッド（256×256）を用い、その後、フル解像度でハードウェア加速された三線形補間を実行する。
• 効率的なモバイルGPUへのデプロイを目的として、モデルを16ビット浮動小数点に量子化する。

実験結果

リサーチクエスチョン

• RQ1 フィードフォワードニューラルネットワークは、モバイルハードウェア上で4K解像度のリアルタイムフォトリズム的スタイル変換を達成できるか？
• RQ2 バイラテラル空間における局所的アフィン変換は、最適化や後処理なしに本質的にフォトリズム性を強制できるか？
• RQ3 最先端の手法と比較して、未知または敵対的入力に対して本モデルはどのように性能を発揮するか？
• RQ4 時間的整合性とスタイルの一貫性を保ちながら、動画シーケンスに一般化できるか？
• RQ5 既存の手法と比較して、フォトリズム性、スタイライズドの忠実度、視覚的品質のトレードオフは何か？

主な発見

• 本手法は、16ビット量子化を用いた状態で、スマートフォン上で4K解像度でリアルタイム性能（30 Hz以上）を達成した。
• 最先端の手法と比較して3桁以上高速であり、推論時間は解像度にほとんど依存しない。
• ユーザースタディーの結果、本手法はPhotoWCT、LST、WCT 2を上回る総合的な画像品質とスタイライズドの忠実度を示したが、WCT 2と同等のフォトリズム性を達成した。
• 本手法は明確でアーティファクトのない結果を生成し、ポートレートやモノクロ画像など未知の入力に対しても滑らかに劣化する。
• 動画スタイリングでは、追加の正則化なしに時間的整合性が保たれ、動的コンテンツへの強い一般化能力を示した。
• バイラテラル空間ラプラシアン正則化子は、グリッドベース手法に一般的に見られる空間的グリッドアーティファクトを効果的に排除した。