[論文レビュー] A Learned Representation For Artistic Style

Vincent Dumoulin, Jonathon Shlens+1 more|arXiv (Cornell University)|Oct 24, 2016

Aesthetic Perception and Analysis被引用数 749

ひとこと要約

本論文は条件付きインスタンス正規化を導入し、単一の多スタイルの前向きスタイル転送ネットワークを訓練する。1つの埋め込みで複数の絵画スタイルを捉え、任意のスタイル混合を可能にし、新しいスタイルを少数のパラメータで迅速に取り込む。

ABSTRACT

The diversity of painting styles represents a rich visual vocabulary for the construction of an image. The degree to which one may learn and parsimoniously capture this visual vocabulary measures our understanding of the higher level features of paintings, if not images in general. In this work we investigate the construction of a single, scalable deep network that can parsimoniously capture the artistic style of a diversity of paintings. We demonstrate that such a network generalizes across a diversity of artistic styles by reducing a painting to a point in an embedding space. Importantly, this model permits a user to explore new painting styles by arbitrarily combining the styles learned from individual paintings. We hope that this work provides a useful step towards building rich models of paintings and offers a window on to the structure of the learned representation of artistic style.

研究の動機と目的

• スタイルごとのネットワークを超えて、芸術スタイルの省資源な表現を学ぶことを動機付ける。
• スタイルパラメータの埋め込みを介して、単一のネットワークが複数のスタイルをモデル化できることを示す。
• 限られたパラメータを微調整するだけで新しいスタイルを効率的に追加できることを示す。
• 埋め込みが任意のスタイルの組合せとスタイル間の補間を可能にすることを示す。

提案手法

• ニューラルスタイル転送と同様に、スタイル損失とコンテンツ損失を用いて、スタイル転送ネットワークのアーキテクチャを採用して訓練する。
• スタイルごとに1行ずつの行を持つ行列として学習され、gammaとbetaがスタイル依存になる条件付きインスタンス正規化を導入する。
• スタイル間でほぼすべてのネットワーク重みを共有し、スタイル特有のアフィンパラメータのみを学習する。
• 他のパラメータを固定したまま、パラメータの小さなサブセットを更新することで新しいスタイルを追加できることを示す。
• スタイルパラメータの凸結合がスタイル間の補間的パスティッシュを生み出すことを示す。

実験結果

リサーチクエスチョン

• RQ1 共有重みを持つ単一のネットワークは、効果的に複数の芸術スタイルをモデル化できるか。
• RQ2 条件付きインスタンス正規化は、少数のスタイル特有パラメータでどのようにマルチスタイル表現を実現するか。
• RQ3 スタイル条件付きパラメータのみを微調整するだけで、新しいスタイルを効率的に追加できるか。
• RQ4 学習済みのスタイル埋め込みを通じて、スタイルを任意に結合できるか。
• RQ5 マルチスタイルネットワークは、個別に訓練された単一スタイルネットワークと同等の性能を示すか。

主な発見

• モネの10スタイルで訓練された単一ネットワークは、多様なカラーパレットと質感を捉え、スタイル間で99.8%の重みを共有（スタイルあたり0.2%）する。
• マルチスタイルネットワークは、独立して訓練された単一スタイルモデルと同程度のスタイル転送品質を達成する。
• 新しいスタイルは、重みを固定したままgammaとbetaを微調整することで組み込むことができ、ゼロから訓練するより収束が速い。
• 学習したスタイル埋め込みは、任意のスタイルの凸結合をサポートし、新しいパスティッシュを作成する。
• このアプローチは32の多様なスタイルに拡張可能で、訓練とメモリ使用の効率性を維持する。