[論文レビュー] Meta Networks for Neural Style Transfer

Falong Shen, Shuicheng Yan+1 more|arXiv (Cornell University)|Sep 13, 2017

Generative Adversarial Networks and Image Synthesis参考文献 23被引用数 20

ひとこと要約

本論文は、1回の順伝播でスタイル固有の画像変換ネットワークを生成するメタネットワークを提案しており、GPU上で新規スタイルに対してわずか19msでリアルタイムのニューラルスタイル転送を実現する。この手法は反復的最適化を置き換え、高品質な結果を維持しながらモバイルデプロイメントに適したコンパクトな449KBモデルを実現する。また、学習済みネットワーク多様体を介してスタイルの補間や生成が可能となる。

ABSTRACT

In this paper we propose a new method to get the specified network parameters through one time feed-forward propagation of the meta networks and explore the application to neural style transfer. Recent works on style transfer typically need to train image transformation networks for every new style, and the style is encoded in the network parameters by enormous iterations of stochastic gradient descent. To tackle these issues, we build a meta network which takes in the style image and produces a corresponding image transformations network directly. Compared with optimization-based methods for every style, our meta networks can handle an arbitrary new style within $19ms$ seconds on one modern GPU card. The fast image transformation network generated by our meta network is only 449KB, which is capable of real-time executing on a mobile device. We also investigate the manifold of the style transfer networks by operating the hidden features from meta networks. Experiments have well validated the effectiveness of our method. Code and trained models has been released https://github.com/FalongShen/styletransfer.

研究の動機と目的

• ニューラルスタイル転送における、各スタイルごとの反復的最適化の必要性を排除すること。
• 再トレーニングなしで、任意の新規スタイルに対してリアルタイムのスタイル転送を可能にすること。
• 画像変換ネットワークの明示的で微分可能な表現を提供し、スタイル操作を制御可能にすること。
• 隠れ状態の補間を通じて、ネットワーク多様体の幾何的構造を調査すること。

提案手法

• メタネットワークは、凍結されたVGG-16バックボーンと一連の全結合層を介して、スタイル画像を画像変換ネットワークのパラメータにマッピングするように訓練される。
• メタネットワークのボトルネック層は、スタイルを潜在ベクトルとして符号化し、これが直接的に画像変換ネットワークの畳み込みフィルタ重みを生成する。
• 画像変換ネットワークは、インスタンス正則化とReLU活性化関数を備えた残差ブロックで構成され、推論時におけるピンク色の領域内のフィルタのみがメタネットワークによって生成される。
• モデルはコンテンツ画像およびスタイル画像の両方における経験的リスク最小化により訓練され、メタネットワークのエンドツーエンド最適化が可能となる。
• メタネットワークの隠れ空間における線形補間により、2つのスタイル間の滑らかなスタイル遷移が実現できる。
• 隠れ空間からのランダムサンプリングにより、新しいスタイルの生成が可能となり、学習済み多様体の多様性と連続性が示された。

実験結果

リサーチクエスチョン

• RQ1 メタネットワークは、反復的最適化を回避する形で、1回の順伝播で高品質なスタイル固有の画像変換ネットワークを生成できるか？
• RQ2 SGDベースの手法と比較して、メタネットワークが生成するネットワークの速度および視覚的品質はどの程度か？
• RQ3 メタネットワークの隠れ表現は、意味的なスタイル補間や生成をサポートできるか？
• RQ4 メタネットワークによって誘導されるネットワーク多様体の構造的・幾何的性質は何か？
• RQ5 生成された画像変換ネットワークは、モバイルデバイスに効率的にデプロイ可能か？

主な発見

• メタネットワークは、1つのGPU上で19msの時間でスタイル固有の画像変換ネットワークを生成し、リアルタイム推論を実現した。
• 得られた画像変換ネットワークはわずか449KBのサイズであり、モバイルデバイスでもリアルタイム実行が可能である。
• SGDベースの最適化と同等の視覚的品質を達成しており、通常は1スタイルあたり4時間のトレーニングを要する。
• メタネットワークの隠れ空間における線形補間により、妥当な中間スタイルが得られ、ネットワーク多様体の連続性が実証された。
• 隠れ空間からのランダムサンプリングにより、多様で現実的かつスタイル的に一貫性のあるテクスチャが生成され、効果的なスタイル分離が示された。
• コンテンツ画像をメタネットワークに入力することで、アイデンティティ変換ネットワークが得られ、補間を介してスタイル強度を制御可能となった。