[論文レビュー] Ultrafast Photorealistic Style Transfer via Neural Architecture Search

Jie An, Haoyi Xiong+2 more|arXiv (Cornell University)|Dec 5, 2019

Image Enhancement Techniques参考文献 29被引用数 5

ひとこと要約

この論文では、写真のようなリアルなスタイル転送を実現する超高速な手法であるPhotoNASを提案する。この手法は、新しいニューラルアーキテクチャ探索（NAS）駆動型ネットワーク（PhotoNet）と教師-生徒 pruning フレームワークを組み合わせたものである。密なオートエンコーダにボトルネック特徴統合（BFA）とインスタンス正規化スイープリンク（INSL）を導入し、自動アーキテクチャ探索による高速化を実現することで、最新の手法と比較して20–30倍の高速な推論を達成した。また、後処理や領域マスクを一切不要としつつ、優れた写真のリアリズムと詳細の保持を維持している。

ABSTRACT

The key challenge in photorealistic style transfer is that an algorithm should faithfully transfer the style of a reference photo to a content photo while the generated image should look like one captured by a camera. Although several photorealistic style transfer algorithms have been proposed, they need to rely on post- and/or pre-processing to make the generated images look photorealistic. If we disable the additional processing, these algorithms would fail to produce plausible photorealistic stylization in terms of detail preservation and photorealism. In this work, we propose an effective solution to these issues. Our method consists of a construction step (C-step) to build a photorealistic stylization network and a pruning step (P-step) for acceleration. In the C-step, we propose a dense auto-encoder named PhotoNet based on a carefully designed pre-analysis. PhotoNet integrates a feature aggregation module (BFA) and instance normalized skip links (INSL). To generate faithful stylization, we introduce multiple style transfer modules in the decoder and INSLs. PhotoNet significantly outperforms existing algorithms in terms of both efficiency and effectiveness. In the P-step, we adopt a neural architecture search method to accelerate PhotoNet. We propose an automatic network pruning framework in the manner of teacher-student learning for photorealistic stylization. The network architecture named PhotoNAS resulted from the search achieves significant acceleration over PhotoNet while keeping the stylization effects almost intact. We conduct extensive experiments on both image and video transfer. The results show that our method can produce favorable results while achieving 20-30 times acceleration in comparison with the existing state-of-the-art approaches. It is worth noting that the proposed algorithm accomplishes better performance without any pre- or post-processing.

研究の動機と目的

• 計算コストの高い後処理や領域マスクに依存する既存の写真的スタイル転送手法の限界を解消すること。
• 写真的スタイル化に特化したニューラルアーキテクチャを設計し、詳細の保持とリアリズムの向上を図ること。
• スタイリング品質を損なわず、自動化されたニューラルアーキテクチャ探索によりモデルを著しく高速化すること。
• 補助処理を伴わず、エンドツーエンドでリアルタイムの写真的スタイル転送を画像および動画に対して可能にすること。

提案手法

• 写真的スタイリングの忠実度を向上させるために、複数スケールの特徴を統合するボトルネック特徴統合（BFA）を備えた非対称オートエンコーダであるPhotoNetを提案する。
• スイープ接続とインスタンス正規化を統合したインスタンス正規化スイープリンク（INSL）を導入し、特徴の回復を改善し、「ショートカircuit」アーチファクトを低減する。
• PhotoNetの冗長な演算子を自動的に削除するため、ニューラルアーキテクチャ探索（StyleNAS）における教師-生徒学習フレームワークを採用する。
• 進化アルゴリズムを用いて、探索空間内で段階的にアーキテクチャを変異・評価し、高速推論に必要な最小限の構成要素のみを保持する。
• この探索フレームワークを応用して、リアルタイムの写真的スタイル転送に適したコンパクトで高速かつ高精度なモデル、PhotoNASを導出する。
• WCTスタイル変換における調整可能なハイパーパrameter ε を用いて、スタイリング効果の制御を可能とし、ユーザーの好みに合わせたチューニングを可能にする。

実験結果

リサーチクエスチョン

• RQ1 後処理や領域マスクに依存せず、写真的スタイル転送の性能を向上させる専用のニューラルアーキテクチャを設計できるか？
• RQ2 写真的スタイル転送モデルの高速化を実現しつつ、高精度なスタイリングを維持するため、ニューラルアーキテクチャ探索フレームワークをどのように適合できるか？
• RQ3 BFA や INSL といったアーキテクチャ的要素が、出力の詳細保持と写真的リアリズムにどれほど寄与するか？
• RQ4 WCTスタイル変換における ε ハイパーパrameter がノイズ感受性とスタイリング品質に与える影響は何か？
• RQ5 提案手法は、視覚的品質の劣化を伴わず、画像および動画の両方でリアルタイム性能を達成できるか？

主な発見

• PhotoNASは、PhotoWCT や WCT 2 といった最先端手法と比較して、20–30倍の推論速度向上を達成した一方で、スタイリング品質を維持または向上させた。
• Table 5 による評価では、PhotoNet は DPST や PhotoWCT、WCT 2 よりもアーチファクトが少なく、歪みが少なく、細部の保持が優れていることが確認された。
• 本手法は、後処理や領域マスクを一切不要としており、従来手法で見られる過剰な平滑化や空間歪みを回避した写真的リアリスティックな結果を生成した。
• WCTスタイルモジュールにおける提案された ε ハイパーパrameter はノイズ感受性に影響を与える：ε の値が小さいとノイジーなコンテンツ画像でノイズが増幅されるが、大きな値にすると信号対ノイズ比が改善される。
• Figure 21 に示すように、本手法は安定した写真的リアリスティックな動画スタイル転送を実現し、一貫性のあるスタイルと最小限の時間的フレッカリングを達成した。
• 失敗事例としては、スタイル画像に複数の矛盾するスタイル要因が含まれる場合にぼやけたスタイリングが発生し、ノイジーなコンテンツ画像ではノイズが出力に現れる場合がある。これは、複雑な状況や低SNR環境下での限界を示している。