[論文レビュー] Rethinking and Improving the Robustness of Image Style Transfer

Pei Wang, Yijun Li+1 more|arXiv (Cornell University)|Apr 8, 2021

Generative Adversarial Networks and Image Synthesis参考文献 30被引用数 10

ひとこと要約

この論文は、ResNetアーキテクチャにおける残差接続が特徴量エントロピーを低下させ、洗練されたネットワーク設計にもかかわらずスタイル変換の品質を劣化させることを特定している。著者らは、特徴量活性化にソフトマックス変換を適用することでエントロピーを向上させ、スタイル変換のロバスト性を著しく向上させた。これは、ランダムな重みを用いても成立し、アーキテクチャの選択がスタイル変換において学習済み特徴量よりも重要であることを示している。

ABSTRACT

Extensive research in neural style transfer methods has shown that the correlation between features extracted by a pre-trained VGG network has a remarkable ability to capture the visual style of an image. Surprisingly, however, this stylization quality is not robust and often degrades significantly when applied to features from more advanced and lightweight networks, such as those in the ResNet family. By performing extensive experiments with different network architectures, we find that residual connections, which represent the main architectural difference between VGG and ResNet, produce feature maps of small entropy, which are not suitable for style transfer. To improve the robustness of the ResNet architecture, we then propose a simple yet effective solution based on a softmax transformation of the feature activations that enhances their entropy. Experimental results demonstrate that this small magic can greatly improve the quality of stylization results, even for networks with random weights. This suggests that the architecture used for feature extraction is more important than the use of learned weights for the task of style transfer.

研究の動機と目的

• 最先端の軽量ネットワーク、例えばResNetが強力な特徴表現を有するにもかかわらず、ニューラルスタイル変換で性能が低い理由を調査すること。
• VGGと比較してResNetの特徴量を用いる際にスタイル変換品質が劣化する根本的要因を特定すること。
• 特徴量エントロピーを向上させ、スタイル変換のロバスト性を向上させる単純なアーキテクチャ的修正を提案すること。
• ネットワークアーキテクチャが、学習済み重みよりもスタイル変換の高品質な実現に大きく寄与することを実証すること。

提案手法

• 著者らは、さまざまなネットワークの特徴マップを分析し、エントロピーを測定することで、スタイル変換性能の低下に寄与するアーキテクチャ的要因を同定した。
• 彼らは、ResNetにおける残差接続が低エントロピーの特徴マップを生成することを発見した。これはスタイル変換に不適切である。
• 特徴量活性化にソフトマックス変換を適用することで、エントロピーを向上させ、スタイルモデリングに向けた識別性を向上させた。
• 一般化性とロバスト性を検証するため、事前学習済みおよびランダム初期化済みネットワークにこの手法を適用した。
• 複数のアーキテクチャとデータセットを用いて評価し、ソフトマックス変換の有無によるスタイル変換品質の差を比較した。

実験結果

リサーチクエスチョン

• RQ1 なぜ最新の軽量ネットワーク（例：ResNet）を用いたニューラルスタイル変換では、品質が劣化するのか？
• RQ2 強力な特徴学習を有するにもかかわらず、なぜResNetのアーキテクチャ的特性がスタイル変換性能を低下させるのか？
• RQ3 活性化変換による特徴量エントロピーの向上は、VGG以外のネットワークにおいてもスタイル変換品質を回復または向上させられるか？
• RQ4 スタイル変換性能において、ネットワークアーキテクチャと学習済み重みのどちらがより重要であるか？

主な発見

• ResNetアーキテクチャにおける残差接続は、低エントロピーの特徴マップを生成し、視覚的スタイルを捉えるのに不適切である。
• 特徴量活性化にソフトマックス変換を適用することで、エントロピーが著しく向上し、スタイル変換品質も向上した。
• 提案手法は、ランダム初期化済み重みを用いても高品質なスタイル変換結果を達成でき、アーキテクチャが学習済み特徴量よりも重要であることを示している。
• この改善効果は複数のアーキテクチャおよびデータセットで一貫しており、広範なロバスト性を示している。
• 軽量または未学習のネットワークといった非理想状態でも、標準的なVGGベースのスタイル変換を上回る性能を発揮した。