[論文レビュー] Exploring the Neural Algorithm of Artistic Style

Yaroslav Nikulin, Roman Novak|arXiv (Cornell University)|Feb 23, 2016

Aesthetic Perception and Analysis参考文献 12被引用数 28

ひとこと要約

この論文は、ハイパーパramータ感受性、代替ネットワークアーキテクチャ、初期化戦略、および部分的なスタイル/コンテンツ層の分割を検討することで、ニューラルスタイル転送アルゴリズムを調査・拡張する。局所化されたスタイル表現を提案し、コンテンツに応じたスタイル転送を可能にし、空間的に注意を払った相関関係でグラム行列ベースのスタイル損失を精緻化することで、照明やテクスチャといった複雑な芸術的特性の転送が向上することを示している。

ABSTRACT

We explore the method of style transfer presented in the article "A Neural Algorithm of Artistic Style" by Leon A. Gatys, Alexander S. Ecker and Matthias Bethge (arXiv:1508.06576). We first demonstrate the power of the suggested style space on a few examples. We then vary different hyper-parameters and program properties that were not discussed in the original paper, among which are the recognition network used, starting point of the gradient descent and different ways to partition style and content layers. We also give a brief comparison of some of the existing algorithm implementations and deep learning frameworks used. To study the style space further we attempt to generate synthetic images by maximizing a single entry in one of the Gram matrices $\mathcal{G}_l$ and some interesting results are observed. Next, we try to mimic the sparsity and intensity distribution of Gram matrices obtained from a real painting and generate more complex textures. Finally, we propose two new style representations built on top of network's features and discuss how one could be used to achieve local and potentially content-aware style transfer.

研究の動機と目的

• 異なるハイパーパramータおよびネットワークアーキテクチャがニューラルスタイル転送のパフォーマンスに与える影響を調査すること。
• 初期化戦略（ホワイトノイズ、コンテンツ画像、スタイル画像）が最適化の収束性と視覚的品質に与える影響を評価すること。
• スタイル表現からコンテンツ表現に低層特徴を再割り当てすることで部分的スタイル転送を検討し、色および低レベルの特徴を保持すること。
• 空間的に変化するスタイル相関を捉えることで、コンテンツに応じたスタイル転送を可能にする局所化されたスタイル表現を開発すること。
• 照明、季節、照照明といった微細な芸術的特性を、修正されたスタイル損失関数を用いて転送することが可能かどうかを評価すること。

提案手法

• 白ノイズ、コンテンツ画像、スタイル画像からのさまざまな初期化を用いてL-BFGS最適化を実行し、吸引域効果を調査する。
• スタイル転送におけるVGG-19、VGG-16、AlexNet、GoogLeNetの比較を行い、小さなカーネルとストライド1の畳み込みにより細部が保持されるため、VGGが優れていると判断する。
• グローバルなグラム行列を空間的に制限された相関マップに置き換えることで、局所化されたスタイル損失を提案：$\mathcal{G}^{l}_{ij}(x,y) = \sum_{dx,dy} w(dx,dy) F^l_i(x+dx,y+dy) F^l_j(x+dx,y+dy)$。
• グローバルなスタイル・コンテンツ共分散損失を導入：$E_l \sim \left\| \sum_{x,y} \left( \mathcal{F}^{c,l}_k(x,y) \mathcal{G}^{l}_{ij}(x,y) - \mathcal{P}^{c,l}_k(x,y) A^l_{ij}(x,y) \right) \right\|_2^2$、ここで$\mathcal{F}^{c,l}_k$は重み付けされたコンテンツ応答を表す。
• s=0（ピクセル単位）および一様重みを用いた局所化損失の簡略化されたバージョンをテストし、小さな画像における概念実証を可能にする。
• 効率的な実装のため、Torchとcunnバックエンドを用い、CaffeおよびcuDNNとパフォーマンスを比較する。

実験結果

リサーチクエスチョン

• RQ1 VGGとAlexNetなどの異なるネットワークアーキテクチャ（例：VGG対AlexNet）は、スタイル転送結果の品質と細部にどのような影響を与えるか？
• RQ2 初期化（ホワイトノイズ、コンテンツ画像、スタイル画像）は、スタイル転送の収束性と視覚的忠実度にどのような影響を与えるか？
• RQ3 スタイル表現からコンテンツ表現に低層特徴を再割り当てすることは、色および低レベルのコンテンツ特徴を保持しながら、高レベルのスタイル転送を可能にするか？
• RQ4 空間的に制限されたグラム行列に基づく局所化されたスタイル表現は、複雑な芸術的特性のためのコンテンツに応じたスタイル転送を可能にするか？
• RQ5 共分散に基づく目的関数を用いて、グローバルスタイル損失を拡張し、照照明や季節的効果などの局所的スタイル変動を捉えることは可能か？

主な発見

• VGG-19は、細かい空間的詳細を保持する3×3の小さなカーネルとストライド1の畳み込みを使用しているため、他のネットワークよりもスタイル転送で優れたパフォーマンスを示す。
• コンテンツ画像からの初期化はコンテンツ構造を保持するため、優れた結果をもたらす。一方、ノイズからの初期化はベンチマークに適している。
• 下層特徴をスタイルからコンテンツ表現に再割り当てする部分的スタイル転送は、元の色および低レベル特徴を保持しながら、高レベルのスタイル転送を成功させる。
• 空間的に制限されたグラム行列に基づく局所化されたスタイル表現により、照明やテクスチャのような複雑で非一様な芸術的特性のより正確な転送が可能になる。
• 提案された局所化損失関数は計算コストが高いため、小さな画像での実装が可能であるが、今後の最適化によりコンテンツに応じたスタイル転送への応用が期待される。
• 局所化損失の簡略化されたピクセル単位のバージョンでは、スタイル画像がコンテンツ画像に直接塗りつぶされる結果となり、現実的な結果を得るには空間的文脈が不可欠であることが示された。