[論文レビュー] A Style-Aware Content Loss for Real-time HD Style Transfer

Artsiom Sanakoyeu, Dmytro Kotovenko+2 more|arXiv (Cornell University)|Jul 26, 2018

Generative Adversarial Networks and Image Synthesis参考文献 46被引用数 13

ひとこと要約

本論文では、ImageNetバイアスを回避するために、事前学習されたVGGネットワークに依存せず、スクラッチから訓練されたエンコーダデコーダネットワークを用いて、リアルタイムかつ高解像度の画像および動画スタイル変換を可能にするスタイルに配慮したコンテンツ損失を提案する。従来の単一のスタイル画像や平均化されたグラム行列に依存する手法とは異なり、類似性でグループ化された複数のスタイル画像を用いて、スタイルがコンテンツに与える影響を学習することで、最先端の手法よりも優れた知覚的品質と高速な推論を達成する。

ABSTRACT

Recently, style transfer has received a lot of attention. While much of this research has aimed at speeding up processing, the approaches are still lacking from a principled, art historical standpoint: a style is more than just a single image or an artist, but previous work is limited to only a single instance of a style or shows no benefit from more images. Moreover, previous work has relied on a direct comparison of art in the domain of RGB images or on CNNs pre-trained on ImageNet, which requires millions of labeled object bounding boxes and can introduce an extra bias, since it has been assembled without artistic consideration. To circumvent these issues, we propose a style-aware content loss, which is trained jointly with a deep encoder-decoder network for real-time, high-resolution stylization of images and videos. We propose a quantitative measure for evaluating the quality of a stylized image and also have art historians rank patches from our approach against those from previous work. These and our qualitative results ranging from small image patches to megapixel stylistic images and videos show that our approach better captures the subtle nature in which a style affects content.

研究の動機と目的

• 従来のスタイル変換手法が単一のスタイル画像やImageNetで事前学習されたネットワークに依存するという限界（バイアスを生じさせ、スタイルの多様性を捉えられない）を是正すること。
• 1つの芸術的スタイルの代表的な複数例を活用することで、スタイルがコンテンツに与える影響を学習する手法を開発すること。
• 事前学習されたVGGネットワークやピixeL単位のRGB比較に依存せずに、リアルタイムかつ高解像度の画像および動画のスタイル変換を可能にすること。
• スタイルを単一の画像としてではなく、集団的かつ多面的な表現として捉える、芸術史的根拠に基づいたスタイル変換のアプローチを提供すること。

提案手法

• エンコーダデコーダネットワークと共同で訓練されるスタイルに配慮したコンテンツ損失を提案。エンコーダがスタイル化出力からコンテンツを再構築することで、スタイルに適応したコンテンツ保持が可能になる。
• 推論の知覚的リアリズムを向上させるために、識別器を備えた生成的敵対ネットワーク（GAN）を用いる。
• ImageNetでの事前学習を回避するため、エンコーダとジェネレータをスクラッチから訓練することで、物体検出バイアスを排除する。
• クラスタリングを用いてスタイル画像をスタイル的類似性でグループ化し、複数の例を通じて1つの芸術的スタイルに対する一貫性のある学習を保証する。
• スクラッチからの安定した学習を実現するため、モード崩壊を防ぐために変換済み画像損失を採用する。
• スキップ接続を備えた残差U-Netアーキテクチャを用いることで、スタイル変換中に空間的詳細を保持する。

実験結果

リサーチクエスチョン

• RQ1 スクラッチから訓練されたスタイルに配慮したコンテンツ損失は、事前学習されたVGGネットワークに依存する手法と比較して、スタイル変換の品質を向上させることができるか？
• RQ2 類似性でグループ化された複数の代表的スタイル画像を用いることで、単一画像や平均化されたグラム行列アプローチと比較して、スタイル化出力の忠実性とリアリズムがどのように向上するか？
• RQ3 学習済みコンテンツ損失を備えたGANベースのジェネレータは、ImageNetバイアスなしで、リアルタイムかつ高解像度のスタイル変換をどの程度達成できるか？
• RQ4 複雑なスタイル変換下でも、本手法は細部のコンテンツ特徴（例：エッジ、テクスチャ）をよりよく保持できるか？
• RQ5 人間の専門家は、本手法の出力と本物の芸術作品を信頼性高く区別できるか？ これは知覚的妥当性を示唆する。

主な発見

• 専門家による知覚テストでは、本手法の欺瞞率は39.3％に達し、すべてのベースライン（CycleGAN：13.9％、Gatysら：14.7％）を大きく上回った。
• 芸術史家による評価では、本手法が49.5％のケースで優れていると評価されたのに対し、Gatysらは17.8％にとどまり、優れた知覚的品質を示した。
• Titan Xで768×768の画像1枚あたり0.07秒のリアルタイム推論が可能であり、GPUメモリ使用量はたったの1043 MiBにとどまり、速度およびメモリ効率の点で大多数のベースラインを上回った。
• アブレーションスタディの結果、スタイルに配慮したコンテンツ損失を削除すると学習の不安定化と劣悪な結果が生じ、その重要性が確認された。
• 事前学習されたVGG16エンコーダを学習済みエンコーダに置き換えると性能が低下し、スタイルに特化したエンドツーエンドの訓練の利点が示された。
• スタイル画像をグループ化せずに（例：すべてのガニェの作品を一括で）学習させると、モード崩壊が発生し、劣悪な結果となることが明らかになった。これにより、スタイルのグループ化の必要性が強調された。