[論文レビュー] Neural Abstract Style Transfer for Chinese Traditional Painting

Bo Li, Caiming Xiong+4 more|arXiv (Cornell University)|Dec 8, 2018

Generative Adversarial Networks and Image Synthesis参考文献 29被引用数 5

ひとこと要約

本論文は、抽象的で質感のない特徴を強調する中国伝統画に特化した、新しいニューラルスタイル転送手法を提案する。MXDoGを用いた損失関数と3つの微分可能損失項を導入することで、従来手法よりも抽象的で均一な筆致とスタイルの一貫性を保ち、実世界の画像においてより自然で美的に一貫性のある結果を達成する。

ABSTRACT

Chinese traditional painting is one of the most historical artworks in the world. It is very popular in Eastern and Southeast Asia due to being aesthetically appealing. Compared with western artistic painting, it is usually more visually abstract and textureless. Recently, neural network based style transfer methods have shown promising and appealing results which are mainly focused on western painting. It remains a challenging problem to preserve abstraction in neural style transfer. In this paper, we present a Neural Abstract Style Transfer method for Chinese traditional painting. It learns to preserve abstraction and other style jointly end-to-end via a novel MXDoG-guided filter (Modified version of the eXtended Difference-of-Gaussians) and three fully differentiable loss terms. To the best of our knowledge, there is little work study on neural style transfer of Chinese traditional painting. To promote research on this direction, we collect a new dataset with diverse photo-realistic images and Chinese traditional paintings. In experiments, the proposed method shows more appealing stylized results in transferring the style of Chinese traditional painting than state-of-the-art neural style transfer methods.

研究の動機と目的

• ニューラルスタイル転送を用いて、中国伝統画の抽象的で質感のないスタイルを再現する課題に取り組む。
• 中国の芸術における疎らで表現的な筆致の本質を保つことができない、従来のニューラルスタイル転送手法の限界を改善する。
• 修正された差分ガウスフィルタを用いて、コンテンツの整合性と抽象的表現の両方を強制する損失関数を開発する。
• 新しい多様なリアルな画像と中国伝統画から構成されるデータセットを公開することで、この分野の研究を促進する。

提案手法

• 画像から抽象化されたコンテンツ表現を抽出するために、修正された拡張差分ガウス（MXDoG）フィルタを導入する。
• 入力画像のMXDoGフィルタ処理されたコンテンツと一致するように、スタイライズド画像を制御するMXDoGコンテンツ損失を提案する。
• MXDoGフィルタ処理後のスタイライズド画像とコンテンツ画像の間で、MXDoGベースのコンテンツ整合性損失を組み込む。
• MXDoGフィルタ処理されたスタイライズド画像が、ターゲット絵画のスタイルと一致するように、スタイル整合性損失を導入する。
• MXDoGコンテンツ損失、コンテンツ整合性損失、スタイル整合性損失の3つの完全に微分可能な損失項を用い、確率的勾配降下法によるエンドツーエンド学習を可能にする。
• これらの損失関数で微調整された深層ニューラルネットワークアーキテクチャを用い、中国画の抽象的で手書き風の性質を反映するスタイライズド出力を生成する。

実験結果

リサーチクエスチョン

• RQ1 ニューラルスタイル転送手法は、中国伝統画の抽象的で筆致に基づくスタイルをどのように維持できるか？
• RQ2 コンテンツと抽象化されたコンテンツの両方をバランスよく反映させるために、どの損失関数が効果的か？
• RQ3 修正された差分ガウスフィルタは、非フォトリッチェアのアートにおけるスタイル転送の抽象化とスタイル再現性を向上させられるか？
• RQ4 最先端のニューラルスタイル転送と比較して、提案手法はユーザーの好みや視覚的一致性において優れているか？
• RQ5 現在のニューラルスタイル転送は、中国画における明暗の変化や意味的抽象化を処理する上で、どのような限界を抱えているか？

主な発見

• 提案手法は、Fast-Neural-Styleなどのベースライン手法よりも、より抽象的で中国伝統画に類似した視覚的一致性を持つスタイライズド画像を生成する。
• ユーザー研究の結果、特に質感がなく色あざやかでないスタイルの画像において、抽象性とスタイル反映の点で提案手法が明確に好まれている。
• 質感が少なく色あざやかでないスタイルでは、『より抽象的』という評価で68%、『スタイルをよりよく反映』という評価で65%のケースでFast-Neural-Styleを上回る。
• 山や木などのオブジェクトに対して、余分な筆致やエッジを低減させ、より洗練され自然なスタイライズド出力を得ている。
• 改善が見られるものの、依然として人間の水準の抽象化には至っておらず、意味的対応関係や明暗の遷移処理において課題が残っている。
• 失敗事例は、複雑な芸術的スタイルに対応するための、ニューラルネットワークにおけるより優れた意味的理解と抽象化能力の必要性を浮き彫りにしている。