[論文レビュー] Learning to Incorporate Texture Saliency Adaptive Attention to Image Cartoonization

Xiang Gao, Yuqi Zhang+1 more|arXiv (Cornell University)|Aug 2, 2022

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本論文は、エッジや微細なテクスチャなどの高影響力の局所的領域に注目するパッチレベルの敵対的学習ブランチを導入することで、スタイル転送の質を向上させる、エンドツーエンドのGANベースの画像カートゥーン化手法を提案する。新規のカートゥーン・テクスチャ・サリエンシー・サンプラー（CTSS）モジュールにより、モデルは動的に高影響力の局所パッチを特定・注目し、より鮮やかで抽象的なカートゥーン出力を実現する。従来の最先端手法と比較して顕著に改善されたFIDスコアを達成した。

ABSTRACT

Image cartoonization is recently dominated by generative adversarial networks (GANs) from the perspective of unsupervised image-to-image translation, in which an inherent challenge is to precisely capture and sufficiently transfer characteristic cartoon styles (e.g., clear edges, smooth color shading, abstract fine structures, etc.). Existing advanced models try to enhance cartoonization effect by learning to promote edges adversarially, introducing style transfer loss, or learning to align style from multiple representation space. This paper demonstrates that more distinct and vivid cartoonization effect could be easily achieved with only basic adversarial loss. Observing that cartoon style is more evident in cartoon-texture-salient local image regions, we build a region-level adversarial learning branch in parallel with the normal image-level one, which constrains adversarial learning on cartoon-texture-salient local patches for better perceiving and transferring cartoon texture features. To this end, a novel cartoon-texture-saliency-sampler (CTSS) module is proposed to dynamically sample cartoon-texture-salient patches from training data. With extensive experiments, we demonstrate that texture saliency adaptive attention in adversarial learning, as a missing ingredient of related methods in image cartoonization, is of significant importance in facilitating and enhancing image cartoon stylization, especially for high-resolution input pictures.

研究の動機と目的

• 既存のGANベースの画像カートゥーン化手法では、明確なエッジや抽象的なパターンといった顕著なカートゥーンテクスチャ特徴が十分に転送されていないという課題に対処すること。
• グローバルな敵対的損失の限界を克服すること。これは、グローバルな滑らかさや色のパターンが優勢であるため、疎で高周波数のカートゥーン特徴（例：鋭いエッジ）を無視しがちな傾向がある。
• エッジ平滑化や追加のスタイル損失項といった前処理ステップを必要としない、軽量でエンドツーエンドのフレームワークを構築すること。
• 特に高解像度画像において顕著な、テクスチャサリエンシーな局所領域への適応的注目が、鮮やかで高精細なカートゥーン効果を達成するために不可欠であることを示すこと。

提案手法

• グローバルなスタイリングの一貫性（滑らかな陰影、トーン）を保つための画像レベルディスクリミネーターと、局所的なテクスチャパターン学習を目的としたパッチレベルディスクリミネーターを備えた二重ディスクリミネーター構造を提案する。
• 勾配に基づくサリエンシー度マップを用いて、カートゥーン的テクスチャに顕著な局所画像パッチを動的に抽出する、カートゥーン・テクスチャ・サリエンシー・サンプラー（CTSS）モジュールを導入する。
• パッチレベルブランチでは、CTSSが選択したパッチにのみ敵対的損失を適用し、シャープなエッジや微細なテクスチャといった顕著なカートゥーン特徴を持つ領域に学習を集中させる。
• パッチレベルと画像レベルの敵対的損失を統合的な学習目的関数に組み合わせることで、グローバルな一貫性と局所的なスタイリングの両立を実現する。
• 入力画像と生成画像のコンテンツ忠実度を維持するため、標準的な知覚的損失およびアイデンティティ保持損失（例：L1、知覚的損失）を用いる。
• 異なる入力解像度に対しても安定性を確保するため、マルチスケールトレーニング戦略を採用し、特に高解像度入力において利点を発揮する。

実験結果

リサーチクエスチョン

• RQ1 顕著な局所領域に注目するパッチレベルの敵対的学習は、グローバルな敵対的損失を超えてカートゥーンスタイル転送を向上させ得るか？
• RQ2 テクスチャサリエンシーなパッチを適応的にサンプリングすることは、一様またはランダムなパッチサンプリングと比較して、より鮮やかで抽象的なカートゥーン出力をもたらすか？
• RQ3 複雑なスタイル損失項（例：グラム損失、平均・分散損失）に比べて、単純なパッチレベル敵対的損失がカートゥーンテクスチャパターンを捉える上で優れているか？
• RQ4 提案されたCTSSモジュールは性能向上に不可欠であるか、それとも固定パッチサンプリングでも同等の結果が得られるか？
• RQ5 高解像度入力において、本手法は最先端のカートゥーン化モデルと比較して性能および視覚的品質で優れているか？

主な発見

• 本モデルはCSCデータセットにおいて、画像レベル損失のみを用いたベースライン（FID: 145.25）を大きく上回る、115.25のFréchet Inception Distance（FID）を達成した。
• パッチレベル敵対的ブランチを削除するとFIDが29.98ポイント上昇（115.25 → 145.25）し、このブランチがスタイリングに果たす重要性が裏付けられた。
• CTSSモジュールは不可欠である：CTSSを削除して一様なパッチサンプリングを採用した場合、FIDは127.09に上昇し、完全モデルと比較して11.84ポイント劣化した。
• 本モデルは3つのベンチマークデータセット（CSC、DB、TWR）で最先端の性能を達成し、FIDスコアはそれぞれ124.66、112.97、115.25であった。
• 定性的な結果では、特に高解像度画像や複雑なシーンにおいて、エッジの明瞭さ、滑らかな色の陰影、抽象的でカートゥーンらしいテクスチャの質が顕著に向上している。
• エッジ平滑化の前処理（CartoonGANと同様）を不要とし、追加のスタイル損失項（AnimeGANと同様）も不要であるため、より洗練され、効率的な手法であることが示された。