[論文レビュー] Attention-aware Multi-stroke Style Transfer

Yuan Yao, Jianqiang Ren+4 more|arXiv (Cornell University)|Jan 16, 2019

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 12

ひとこと要約

本稿では、自己注意機構をスタイルに依存しないオートエンコーダーに統合することで、一貫した空間的注目と柔軟なマルチストローク融合を実現する注目-awareマルチストロークスタイル転送モデルを提案する。マルチスケールスタイルスワップと注目誘導型融合を活用することで、自動的な空間的ストロークサイズ制御が可能となり、最先端の手法と同等の高品質で多様なスタイル化を実現しながら、リアルタイム推論性能を維持する。

ABSTRACT

Neural style transfer has drawn considerable attention from both academic and industrial field. Although visual effect and efficiency have been significantly improved, existing methods are unable to coordinate spatial distribution of visual attention between the content image and stylized image, or render diverse level of detail via different brush strokes. In this paper, we tackle these limitations by developing an attention-aware multi-stroke style transfer model. We first propose to assemble self-attention mechanism into a style-agnostic reconstruction autoencoder framework, from which the attention map of a content image can be derived. By performing multi-scale style swap on content features and style features, we produce multiple feature maps reflecting different stroke patterns. A flexible fusion strategy is further presented to incorporate the salient characteristics from the attention map, which allows integrating multiple stroke patterns into different spatial regions of the output image harmoniously. We demonstrate the effectiveness of our method, as well as generate comparable stylized images with multiple stroke patterns against the state-of-the-art methods.

研究の動機と目的

• 既存のスタイル転送手法におけるコンテンツ画像とスタイル化画像間の空間的注目の一貫性の欠如に対処すること。
• 異なる画像領域における詳細度のばらつきを考慮した柔軟なマルチストローク融合を可能にすること。
• 手作業で作成したマスクや領域別最適化を一切用いずに、自動的に空間的ストロークサイズを制御できること。
• 任意のスタイル転送に対応しつつ、複数のストロークパターンを用いた状況でもリアルタイム推論速度を維持すること。

提案手法

• コンテンツ画像内のグローバルおよび長距離依存関係を学習するために、スタイルに依存しないオートエンコーダーのボトルネックに自己注意機構を統合する。
• 再構成学習を通じてコンテンツ画像から注目マップを導出することで、顕著で意味的に関連する領域を強調する。
• ハイレベルなコンテンツ特徴をマルチスケールのスタイル特徴に置き換えることでマルチスケールスタイルスワップを実行し、異なるストロークパターンマップを生成する。
• 注目マップを空間的重みマップとして用い、領域別に最適にブレンドすることができる学習可能な統合戦略を適用する。
• ストロークサイズの空間的粗さを自動的に制御するために、注目フィルタにガウス分散パラメータを用いる。
• 前向き伝搬ネットワークアーキテクチャを採用することで、ストローク数と詳細度を制御可能なリアルタイム推論を実現する。

実験結果

リサーチクエスチョン

• RQ1 自己注意機構は、ニューラルスタイル転送においてコンテンツ画像とスタイル化画像間の視覚的注目の一貫性を向上させ得るか？
• RQ2 異なる画像領域でサイズが異なる複数のストロークパターンを、どのように柔軟に統合できるか？
• RQ3 手作業のマスクや領域別処理を一切用いずに、画像の顕著性に応じてストロークサイズを自動的に適応させることは可能か？
• RQ4 リアルタイム性能を維持しつつ、ストローク数と詳細度の両方を制御可能なマルチストローク統合は、どの程度実現可能か？

主な発見

• 提案手法は注目の一貫性を達成し、コンテンツ画像と空間的に整合した顕著な領域をスタイル化出力に保っている。
• 256×256画像では平均0.80秒、512×512画像では0.94秒の推論時間を達成し、Style-Swapを上回り、Avatar-Netと同等の速度性能を示した。
• 本手法は自動的な空間的ストロークサイズ制御を実現している：顕著な領域（例：人物）には細かいストローク、中程度の顕著性領域（例：山脈）には中程度のストローク、低顕著性領域（例：空）には粗いストロークが適用される。
• ストローク数を8まで増加させた場合でも、512×512画像の推論時間は0.92秒から1.18秒へと制御された線形的増加を示し、スケーラビリティを実証した。
• 注目マップにより領域別に最適な統合重みが得られ、視覚的アーチファクトや歪みを生じさせることなく、複数のストロークパターンを調和的に統合できる。
• 本モデルは、AdaIN、WCT、Avatar-Netといった最先端手法と同等の視認的に妥当な多様なストロークパターンを有するスタイル化画像を生成している。