[論文レビュー] Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization

Xun Huang, Serge Belongie|arXiv (Cornell University)|Mar 20, 2017

Generative Adversarial Networks and Image Synthesis参考文献 46被引用数 200

ひとこと要約

本稿では、適応的インスタンス正規化（AdaIN）を用いたリアルタイムなニューラルスタイル転送手法を提案する。この手法は、コンテンツ特徴をスタイル統計に一致させることで、再訓練を必要とせず任意のスタイル転送を可能にする。本手法は、フィードフォワードネットワークと同等の高速な推論速度を達成するとともに、動的スタイル制御、スタイル補間、コンテンツ・スタイルのトレードオフを1つのモデルでサポートする。

ABSTRACT

Gatys et al. recently introduced a neural algorithm that renders a content image in the style of another image, achieving so-called style transfer. However, their framework requires a slow iterative optimization process, which limits its practical application. Fast approximations with feed-forward neural networks have been proposed to speed up neural style transfer. Unfortunately, the speed improvement comes at a cost: the network is usually tied to a fixed set of styles and cannot adapt to arbitrary new styles. In this paper, we present a simple yet effective approach that for the first time enables arbitrary style transfer in real-time. At the heart of our method is a novel adaptive instance normalization (AdaIN) layer that aligns the mean and variance of the content features with those of the style features. Our method achieves speed comparable to the fastest existing approach, without the restriction to a pre-defined set of styles. In addition, our approach allows flexible user controls such as content-style trade-off, style interpolation, color & spatial controls, all using a single feed-forward neural network.

研究の動機と目的

• Gatysらの元々のスタイル転送手法における遅い反復最適化を克服すること。
• 新しいスタイルを適用する際の再訓練の必要性を排除し、任意のスタイル転送を可能にすること。
• フィードフォワードネットワークと同等のリアルタイム推論速度を達成しつつ、柔軟性を維持すること。
• ユーザー制御可能なスタイル補間、コンテンツ・スタイルのバランス、空間的／色の調整を統合可能なフレームワークを実現すること。

提案手法

• コンテンツ特徴の統計をスタイル画像の統計に一致させるためのレイヤーとして、適応的インスタンス正規化（AdaIN）を導入する。
• スタイル特徴の平均と分散を用いてコンテンツ特徴を正規化し、1回の順方向伝搬でスタイル転送を実現する。
• フィードフォワードネットワークの各畳み込み層の後にAdaINを適用することで、エンド・ツー・エンドの学習を可能にする。
• コンテンツとスタイルの再構成損失を用いてネットワークを学習させ、コンテンツを保持しつつスタイルを転送する。
• 推論時にスタイル特徴の統計を変更することで、柔軟なスタイル制御を可能にする。
• 複数のスタイル画像からの統計をブレンドすることで、スタイル補間を実現する。

実験結果

リサーチクエスチョン

• RQ1 事前に定義されたスタイルセットに固定されたモデルに依存せずに、リアルタイムのスタイル転送を達成できるか？
• RQ2 1つのフィードフォワードネットワークが、高品質かつ高速な任意のスタイル転送をサポートできるか？
• RQ3 統合されたフレームワーク内で、ユーザー制御可能なスタイル補間やコンテンツ・スタイルのバランスを統合できるか？
• RQ4 適応的インスタンス正規化は、固定された正規化レイヤーに比べてより優れたスタイル転送を実現できるか？

主な発見

• 提案手法はリアルタイムの推論速度を達成し、既存の最も高速なフィードフォワードネットワークと同等の性能を示した。
• 再訓練を必要とせず、任意の入力スタイル画像をサポートする任意のスタイル転送が可能である。
• 単純な統計操作によって、スタイル補間やコンテンツ・スタイルのトレードオフといった柔軟なユーザー制御が可能である。
• 適応的インスタンス正規化は、コンテンツを保持しつつ効果的にスタイルを転送でき、定性的および定量的評価でその有効性が示された。