[論文レビュー] CCPL: Contrastive Coherence Preserving Loss for Versatile Style Transfer

Zijie Wu, Zhu Zhen+2 more|arXiv (Cornell University)|Jul 11, 2022

Image Enhancement Techniques被引用数 11

ひとこと要約

本稿では、動画学習データを必要とせず、フレーム間の局所的パッチレベル特徴差を保持することで、動画スタイル転送における時間的整合性を向上させる、新しい対照的学習ベースの損失関数である対照的整合性維持損失（CCPL）を提案する。CCPLは、芸術的・写真的リアリスティック・動画スタイル転送の分野で視覚的品質と整合性を向上させるとともに、既存のネットワークと互換性があり、画像対画像変換に応用可能である。

ABSTRACT

In this paper, we aim to devise a universally versatile style transfer method capable of performing artistic, photo-realistic, and video style transfer jointly, without seeing videos during training. Previous single-frame methods assume a strong constraint on the whole image to maintain temporal consistency, which could be violated in many cases. Instead, we make a mild and reasonable assumption that global inconsistency is dominated by local inconsistencies and devise a generic Contrastive Coherence Preserving Loss (CCPL) applied to local patches. CCPL can preserve the coherence of the content source during style transfer without degrading stylization. Moreover, it owns a neighbor-regulating mechanism, resulting in a vast reduction of local distortions and considerable visual quality improvement. Aside from its superior performance on versatile style transfer, it can be easily extended to other tasks, such as image-to-image translation. Besides, to better fuse content and style features, we propose Simple Covariance Transformation (SCT) to effectively align second-order statistics of the content feature with the style feature. Experiments demonstrate the effectiveness of the resulting model for versatile style transfer, when armed with CCPL.

研究の動機と目的

• 単一フレーム画像での学習に限定した場合の動画スタイル転送における時間的不整合の課題に対処すること。
• オプティカルフローも明示的な動画教師信号にも依存せず、スタイル化された動画出力におけるフレッカーや局所的歪みを低減すること。
• 視覚的品質と時間的整合性の両方を向上させる、軽量でアーキテクチャに依存しない損失関数の開発。
• 最小限の修正で、既存の画像対画像変換およびスタイル転送モデルに効果的に適用可能な損失の実装。
• 学習可能な損失重み付け機構により、スタイル化品質と時間的整合性のバランスをとること。

提案手法

• 局所的動きの整合性を捉えるために、コンテンツ画像とスタイル化画像の間の局所的パッチ差を特徴レベル表現として定義する。
• InfoNCE損失を用いて対照的学習を実行し、同一空間的位置同士のペair（ポジティブペア）間の相互情報量を最大化し、ネガティブペア間の相互情報量を最小化する。
• 各パッチをその空間的近隣パッチに基づいて制約する近隣調整メカニズムを導入し、局所的歪みを低減する。
• 各層ごとに複数のネガティブパッチ差をサンプリングすることで、対照的学習の安定性を向上させ、一般化性能を向上させる。
• CCPLを既存のスタイル転送ネットワークにプラグイン損失として統合し、単一画像での学習を可能にするとともに、動画への一般化を実現する。
• 2次統計量の整合性を向上させるために、シンプルな共分散変換（SCT）を提案し、コンテンツ特徴とスタイル特徴の統合を最適化する。

実験結果

リサーチクエスチョン

• RQ1 動画学習データなしで、局所的パッチ差に対する対照的損失が、動画スタイル転送における時間的整合性を効果的に維持できるか？
• RQ2 CCPLに組み込まれた近隣調整メカニズムは、局所的歪みをどのように低減させ、視覚的品質を向上させるか？
• RQ3 整合性とスタイル化のバランスを最適化するための、CCPLの最適な構成（層数、サンプリングベクトル数、損失重み）は何か？
• RQ4 ベースアーキテクチャを超えて、CCPLは他の画像対画像変換およびスタイル転送モデルに対しても効果的に適用可能か？
• RQ5 アーティスティック・フォトリアリスティック・動画スタイル転送を含む多様なスタイル転送タスクにおいて、CCPLはスタイル化品質を損なわず、性能を向上させるか？

主な発見

• CCPLは、単一画像での学習に限定した場合でも、動画スタイル転送における時間的整合性を顕著に向上させ、フレッカーや整合性の欠如を低減した。
• 1枚の12GB Titan XP GPUで256×256解像度において77.0 FPSの推論速度を達成し、先行手法を上回るスピードと品質を実現した。
• アブレーションスタディの結果、3層にCCPLを適用し、1層あたり64個のベクトルをサンプリングし、損失重み比を0.5に設定した場合が、整合性とスタイル化のバランスにおいて最良の妥協点を示した。
• AdaIN、SANet、Linearネットワークに適用した結果、SIFIDスコアのわずかな低下を伴いながらも、時間的整合性が向上した。これは、CCPLの汎用性を示している。
• CUTにCCPLを適用することで、画像対画像変換の性能が向上し、視覚的品質と整合性の両方が向上した。これにより、CCPLの広範な適用可能性が確認された。
• CCPLの近隣調整メカニズムにより、局所的歪みが低減され、ベースライン手法と比較して、よりシャープで整合性の高い出力が得られた。