[論文レビュー] Real-time Universal Style Transfer on High-resolution Images via Zero-channel Pruning

Jie An, Tao Li+7 more|arXiv (Cornell University)|Jun 16, 2020

Generative Adversarial Networks and Image Synthesis参考文献 60被引用数 13

ひとこと要約

本稿では、GoogLeNetに基づく軽量なスタイル変換ネットワークであるArtNetを提案する。本手法は、冗長な特徴を除去するための新規なゼロチャネルプルーニング法を導入し、高解像度画像におけるリアルタイムなユニバーサルスタイル変換を実現する。さらに、スタイル変換の品質を向上させるための$\mathbf{S}^{2}$モジュールを導入し、512×512解像度で68.03 FPSの性能を達成するとともに、コンテンツの保持性とスタイル再現性の両立を実現した。

ABSTRACT

Extracting effective deep features to represent content and style information is the key to universal style transfer. Most existing algorithms use VGG19 as the feature extractor, which incurs a high computational cost and impedes real-time style transfer on high-resolution images. In this work, we propose a lightweight alternative architecture - ArtNet, which is based on GoogLeNet, and later pruned by a novel channel pruning method named Zero-channel Pruning specially designed for style transfer approaches. Besides, we propose a theoretically sound sandwich swap transform (S2) module to transfer deep features, which can create a pleasing holistic appearance and good local textures with an improved content preservation ability. By using ArtNet and S2, our method is 2.3 to 107.4 times faster than state-of-the-art approaches. The comprehensive experiments demonstrate that ArtNet can achieve universal, real-time, and high-quality style transfer on high-resolution images simultaneously, (68.03 FPS on 512 times 512 images).

研究の動機と目的

• 高解像度画像におけるリアルタイム処理を妨げるVGG19ベースのスタイル変換モデルの高い計算コストを低減すること。
• 推論遅延を著しく削減しながらも高いスタイル再現性を維持する軽量な特徴抽出器の開発。
• 従来のユニバーサルスタイル変換手法が直面するコンテンツ保持性とスタイル再現性のトレードオフを克服すること。
• 解像度が512×512の高解像度画像において、視覚的忠実度を損なわずにリアルタイム（≥30 FPS）のユニバーサルスタイル変換を実現すること。
• スタイル変換ネットワークに特化したプルーニング手法を設計し、性能を維持しながら推論を高速化すること。

提案手法

• VGG19を特徴抽出器として置き換えることで、計算コストを低減する軽量な自己符号化器アーキテクチャであるArtNetを提案。GoogLeNetに基づく。
• 事前学習済みネットワークのReLU活性化層における「ゼロチャネル」（空の特徴マップ）を特定・削除することで、微調整を不要とする新規なチャネルプルーニング法「ゼロチャネルプルーニング」を導入。
• 削除されたチャネルと整合する畳み込み層およびバッチ正則化層に対してもプルーニングを適用し、ネットワークの整合性と効率性を維持。
• 2つのAdaIN処理とスタイルスワップモジュールを組み合わせた$\mathbf{S}^{2}$（サンドイッチスワップ）モジュールを設計。色のバイアスを是正し、スタイル変換とコンテンツ保持性の両方を向上。
• マルチレベル特徴マッピングの統合により、スタイライズド出力における局所的なテクスチャ再現性とグローバルな外観の一貫性を向上。
• グラム行列に基づく損失関数を用いて、エンドツーエンドで自己符号化器を学習。これにより、スタイル変換の品質を最適化するとともに、コンテンツ構造の維持を図る。

実験結果

リサーチクエスチョン

• RQ1 VGG19を代替する軽量なニューラルネットワークアーキテクチャが、性能を劣化させることなくユニバーサルスタイル変換に利用可能か？
• RQ2 スタイル変換ネットワークに特化したプルーニング手法が、顕著な高速化を達成しつつ、精度の低下を最小限に抑えることができるか？
• RQ3 新規な特徴変換モジュールが、同時にスタイル変換品質とコンテンツ保持性を向上させることができるか？
• RQ4 解像度が512×512の高解像度画像において、視覚的質が高く、リアルタイム（≥30 FPS）のユニバーサルスタイル変換を達成できるか？
• RQ5 従来のプルーニング手法と比較して、提案手法のゼロチャネルプルーニングは、劣化を伴わず高速化を実現できるか？

主な発見

• ArtNetは512×512解像度で68.03 FPSを達成し、最先端手法と比較して2.3倍から107.4倍の高速化を実現した。
• ゼロチャネルプルーニングにより、モデルサイズと推論時間を最大2倍まで削減でき、画像再構成およびスタイル変換の結果から、性能劣化は顕著でないことが検証された。
• $\mathbf{S}^{2}$モジュールはコンテンツ保持性と色の一致性を向上させ、定量的・定性的な評価において、AdaIN や StyleSwap などのベースラインモジュールを上回った。
• ユーザースタディーにおいて、SSIMが0.897と2位にランクされたものの、ArtNetは全手法の中で最も高いユーザーランキングを獲得した。これは、優れた知覚的品質を示している。
• ArtNetは16倍のダウンサンプリングレートを維持しており、従来の4倍や8倍に制限された手法と比較して、局所的なテクスチャをより良く捉える大きな受容 field を実現した。
• アブレーションスタディーにより、$\mathbf{S}^{2}$モジュールの二重AdaIN機構が、コンテンツ構造を損なわず、色のずれを是正し、詳細の再現性を向上させることの有効性が確認された。