[論文レビュー] Neural Style Transfer: A Review

Yongcheng Jing, Yezhou Yang+4 more|arXiv (Cornell University)|May 11, 2017

Generative Adversarial Networks and Image Synthesis参考文献 138被引用数 103

ひとこと要約

この論文は2018年までのニューラルスタイル転送（NST）の包括的な調査であり、NST手法の分類体系、評価戦略、応用、および未解決の課題を概説している。

ABSTRACT

The seminal work of Gatys et al. demonstrated the power of Convolutional Neural Networks (CNNs) in creating artistic imagery by separating and recombining image content and style. This process of using CNNs to render a content image in different styles is referred to as Neural Style Transfer (NST). Since then, NST has become a trending topic both in academic literature and industrial applications. It is receiving increasing attention and a variety of approaches are proposed to either improve or extend the original NST algorithm. In this paper, we aim to provide a comprehensive overview of the current progress towards NST. We first propose a taxonomy of current algorithms in the field of NST. Then, we present several evaluation methods and compare different NST algorithms both qualitatively and quantitatively. The review concludes with a discussion of various applications of NST and open problems for future research. A list of papers discussed in this review, corresponding codes, pre-trained models and more comparison results are publicly available at https://github.com/ycjing/Neural-Style-Transfer-Papers.

研究の動機と目的

• 最近の NST アルゴリズムとその基礎を分類・統合する。
• 標準化された評価方法とベンチマーク比較を提示する。
• NSTの実用的な応用と商業的な利用事例について論じる。
• 未解決の課題を特定し、今後の研究の方向性を提案する。

提案手法

• 二層の NST タキソノミーを提案する：Image-Optimisation-Based Online Neural Methods (IOB-NST) 対 Model- optimisation-Based Offline Neural Methods (MOB-NST)。
• 要約統計量（Gram-based）およびMRFベースのモデルを用いた、Parametric vs Non-parametric neural approachesを分析する。
• オフラインのフィードフォワード型スタイル転送モデル（PSPM、MSPM、ASPM）とそれらのアーキテクチャ的バリアントを説明する。
• インスタンス正規化などの改善やヒストグラムベースの制約を組み込み、不安定性とディテールの保持に対応する。
• 代替のスタイル表現（Gram-based、MMD interpretations、BN statistics）とその含意を論じる。
• NSTアルゴリズムを比較するための評価手法とベンチマークを概説する。

実験結果

リサーチクエスチョン

• RQ1 NST手法の主なカテゴリと特徴は何か？
• RQ2 スタイル/コンテンツ表現、品質、効率の観点で、NST手法はどのように比較されるか？
• RQ3 スタイリゼーション品質とコンテンツ忠実度を最もよく捉える評価戦略は何か？
• RQ4 NSTの実務上の制限と将来の潜在的方向性は何か？
• RQ5 さまざまなアーキテクチャの選択（IN、CIN、StyleBank、パッチベースの損失）は結果にどのような影響を与えるか？

主な発見

• NSTはCNN特徴空間におけるコンテンツ表現とスタイル表現を一致させることで、ground-truth stylised images を必要とせず任意の芸術スタイルを転送できる。
• NST手法は大きく二つのカテゴリに分類される：IOB-NST (online optimisation) と MOB-NST (offline, feed-forward models)。
• パラメトリックなGramベースのスタイル表現は二次統計をモデル化するが微細構造を失う可能性がある；非パラメトリックなパッチベースMRF損失はテクスチャやフォトリアリスティックなディテールをよりよく保存できる。
• インスタンス正規化（IN）やヒストグラム損失といった改良は安定性とレンダリング品質を向上させる一方、深度・意味的一貫性および筆致の変動には依然課題が残る。
• MSPMアプローチはモデル間でスタイルを共有することでトレーニング負荷を削減し、CINやStyleBankのような条件付けメカニズムを用いて複数のスタイルを扱う。
• フォトリアリスティックで複雑な内容に対して特に、細部の構造的一貫性、深度情報、および意味的に意味のあるスタイリゼーションの保持には依然制限がある。