[論文レビュー] Automated Deep Photo Style Transfer

Sebastian Penhouët, Paul Sanzenbacher|arXiv (Cornell University)|Jan 12, 2019

Generative Adversarial Networks and Image Synthesis参考文献 1被引用数 15

ひとこと要約

この論文は、ニューラル画像セグメンテーション、意味的グループ化、ニューラル画像アートスティルスコア評価を統合した自動的でエンドツーエンドのディープフォトスタイル転送パイプラインを提案する。手動による介入なしに、写真のようなスタイル転送を実現する。手動セグメンテーションに代えて事前学習済みのPSPNetを採用し、NIMAに基づく画像評価で結果を向上させることで、ユーザー依存を低減しながら、高精細で現実的なスタイル転送を達成する。

ABSTRACT

Photorealism is a complex concept that cannot easily be formulated mathematically. Deep Photo Style Transfer is an attempt to transfer the style of a reference image to a content image while preserving its photorealism. This is achieved by introducing a constraint that prevents distortions in the content image and by applying the style transfer independently for semantically different parts of the images. In addition, an automated segmentation process is presented that consists of a neural network based segmentation method followed by a semantic grouping step. To further improve the results a measure for image aesthetics is used and elaborated. If the content and the style image are sufficiently similar, the result images look very realistic. With the automation of the image segmentation the pipeline becomes completely independent from any user interaction, which allows for new applications.

研究の動機と目的

• 手動セグメンテーションを排除するために、自動的でニューラルネットワークベースのセグメンテーションパイプラインを導入すること。
• 意味的にグループ化された画像領域ごとにスタイル転送を個別に適用することで、写真的リアリズムを保持したスタイル転送の品質を向上させること。
• 学習済みの画像アートスティルスコア指標（NIMA）を追加の損失項として用いて、結果の視覚的魅力を向上させること。
• 完全自動化されたスタイル転送パイプラインを実現し、多様な画像データセットへのスケーラブルかつ再現可能な適用を可能にすること。

提案手法

• コンテンツ画像およびスタイル画像の両方の意味的セグメンテーションに、事前学習済みのPSPNetを用い、ピクセル単位のクラス予測を生成する。
• 学習済みの意味的閾値に基づいて類似したオブジェクトクラスを統合する意味的グループ化アルゴリズムを適用し、過剰セグメンテーションを低減する。
• Deep Photo Style Transferの損失関数を拡張し、セグメントごとに適用可能な拡張されたスタイル損失を導入することで、局所的なスタイル適応を可能にする。
• コンテンツ画像の詳細を保持し、最適化中に歪みを避けるために、写真的リアリズム正則化損失を導入する。
• NIMA（Neural Image Assessment）モデルから得られる画像評価損失を組み込み、画像品質とアートスティルスコアを最適化する。
• VGG19ベースの特徴抽出器を用いて、コンテンツ損失、スタイル損失、写真的リアリズム損失、アートスティルスコア損失を組み合わせた複合損失を最小化するように、スタイライズド画像を2000イテレーション最適化する。

実験結果

リサーチクエスチョン

• RQ1 自動化された意味的セグメンテーションは、手動セグメンテーションと比較して、ディープフォトスタイル転送の整合性とリアリズムを向上させることができるか？
• RQ2 セグメント化された領域の意味的グループ化は、局所的スタイル転送の品質と一貫性にどのように影響を与えるか？
• RQ3 NIMAに基づく画像評価損失は、写真的リアリズムを損なうことなく、スタイライズド画像の視覚的魅力をどの程度向上させることができるか？
• RQ4 解像度、実行時間、セグメンテーション精度の観点から、自動パイプラインのパフォーマンスとスケーラビリティの限界は何か？

主な発見

• PSPNetを用いた自動セグメンテーションパイプラインは、ユーザー依存を顕著に低減し、スタイル転送プロセスのエンドツーエンド自動化を実現した。
• 意味的グループ化により過剰セグメンテーションが低減し、特に多数のオブジェクトタイプを含む複雑なシーンにおいて、スタイライズドの一貫性が向上した。
• NIMAに基づく画像評価損失の統合により、ベースライン手法と比較して視覚的に魅力的な結果が得られ、アートスティルスコアが向上した。
• 改善が見られたものの、セグメンテーション精度やスタイル転送モデリングの制限により、反射面、明るいスポット、細かいオブジェクト境界の処理には課題が残っている。
• 元のDeep Photo Style Transferと同等の写真的リアリスティックな結果を達成したが、計算コストが高く、GTX 1080で1枚あたり約16分を要した。
• 現在のパイプラインは解像度制限とPSPNetの150クラスの上限に制約を受けており、今後の研究ではより表現力の高いセグメンテーションモデルの導入が求められる。