[論文レビュー] Image Harmonization with Region-wise Contrastive Learning

Jingtang Liang, Chi‐Man Pun|arXiv (Cornell University)|May 27, 2022

Image Enhancement Techniques被引用数 4

ひとこと要約

本稿では、領域別コントラスト学習と外部スタイル統合を用いた新しい画像ハーモナイゼーションフレームワークを提案する。バックグラウンド特徴をスタイルリファレンスとして活用し、フォアグラウンドとバックグラウンドのスタイル表現を一致させる領域別コントラスト損失を適用することで、ベンチマークおよび実世界のデータセットにおいて、視覚的リアリズムと耐障害性に優れた最先端の性能を達成する。

ABSTRACT

Image harmonization task aims at harmonizing different composite foreground regions according to specific background image. Previous methods would rather focus on improving the reconstruction ability of the generator by some internal enhancements such as attention, adaptive normalization and light adjustment, $etc.$. However, they pay less attention to discriminating the foreground and background appearance features within a restricted generator, which becomes a new challenge in image harmonization task. In this paper, we propose a novel image harmonization framework with external style fusion and region-wise contrastive learning scheme. For the external style fusion, we leverage the external background appearance from the encoder as the style reference to generate harmonized foreground in the decoder. This approach enhances the harmonization ability of the decoder by external background guidance. Moreover, for the contrastive learning scheme, we design a region-wise contrastive loss function for image harmonization task. Specifically, we first introduce a straight-forward samples generation method that selects negative samples from the output harmonized foreground region and selects positive samples from the ground-truth background region. Our method attempts to bring together corresponding positive and negative samples by maximizing the mutual information between the foreground and background styles, which desirably makes our harmonization network more robust to discriminate the foreground and background style features when harmonizing composite images. Extensive experiments on the benchmark datasets show that our method can achieve a clear improvement in harmonization quality and demonstrate the good generalization capability in real-scenario applications.

研究の動機と目的

• 既存の画像ハーモナイゼーション手法がフォアグラウンドとバックグラウンドの外見特徴を区別し、一致させることに限界を示していることに対処する。
• 生成器が構造的または意味的コンテンツを損なわずにバックグラウンドスタイルをフォアグラウンドに効果的に転送できる能力を高めることで、ハーモナイゼーション品質を向上させる。
• フォアグラウンドとバックグラウンドのパッチ間のスタイル一貫性を明示的にモデル化する領域別コントラスト損失を導入する。
• 安定したエンコーダー抽出バックグラウンド特徴を外部スタイルガイドとして活用し、デコーダーにおけるより正確で一貫性のあるスタイル転送を実現する。
• 計算コストを低く抑えつつ、実世界のシナリオにおける一般化性能を向上させる。

提案手法

• ハーモナイズドフォアグラウンドパッチをネガティブサンプル、グランドトゥルースバックグラウンドパッチをポジティブサンプルとして扱う領域別コントラスト損失関数 $\mathcal{L}_{HCL}$ を提案する。
• エンコーダーバッキングの特徴を安定したスタイルリファレンスとして用いる外部スタイル統合を導入し、アダプティブインスタンス正規化を介してデコーダーの特徴変換をガイドする。
• ポジティブおよびネガティブパッチ特徴を同じ潜在空間に埋め込むために共有マルチレイヤーパーセプトロン（MLP）を用い、コントラスト最適化を実現する。
• スタイル統合を各デコーダーブロックに適用するUNetベースの生成器を採用し、バックグラウンド外見特徴をフォアグラウンド特徴と統合することでリアリズムを向上させる。
• 構造的および意味的忠実度を保持するため、ピクセル単位の再構成損失 ($\mathcal{L}_{pixel}$) をコントラスト損失と併用する。
• 高品質でリアルな出力を保証するため、$\mathcal{L}_{pixel}$、$\mathcal{L}_{HCL}$、および標準GAN損失の組み合わせを用いてモデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 領域別コントラスト学習方式は、画像ハーモナイゼーションにおけるフォアグラウンドおよびバックグラウンドのスタイル特徴の区別と一致を改善できるか？
• RQ2 安定したエンコーダー抽出バックグラウンド特徴を外部スタイルリファレンスとして用いることで、内部デコーダー特徴に依存する場合と比較して、より優れたハーモナイゼーションが達成できるか？
• RQ3 サンプリングされたパッチ数は、コントラスト損失の性能および学習効率にどのように影響するか？
• RQ4 提案手法は、非合成の実世界の画像コンポジションに対しても効果的に一般化できるか？
• RQ5 定量的指標および視覚的品質の観点から、最先端の手法と比較して、本手法はどのように差をつけるか？

主な発見

• 256個のパッチをサンプリングした場合、ベンチマークデータセットで最先端の性能を達成し、PSNRが37.50、SSIMが99.04を記録した。
• 256パッチの使用が、性能と学習複雑性の最良のトレードオフをもたらす。512や1024などのより高い数値では、特徴の複雑性と計算コストの増加により性能が低下する。
• アブレーションスタディにより、領域別コントラスト損失がスタイル統合のみに比べて、フォアグラウンド・バックグラウンドの一貫性において顕著な向上をもたらすことが確認された。視覚的および定量的指標の両面で改善が示された。
• エンコーダー特徴を用いた外部スタイル統合は、デコーダー再構築特徴に依存する場合と比較して、より正確なバックグラウンドディテールの保持を実現した。特徴マップの比較により検証された。
• 本手法は実環境データセットにおいても強力な一般化能力を示し、合成ベンチマークを超えた実用的応用可能性を示している。
• コントラスト損失を削除するか、標準 $\mathcal{L}_1$ 損失に置き換えると、性能に顕著な低下が見られ、本手法におけるスタイル一致の中心的役割が裏付けられた。