[論文レビュー] Image Harmonization by Matching Regional References

Ziyue Zhu, Zhao Zhang+4 more|arXiv (Cornell University)|Apr 10, 2022

Image Enhancement Techniques被引用数 7

ひとこと要約

本論文は、グローバルな外見転送ではなく、コンテンツ関連の背景領域に一致させることで、前景の外見を適応的に調整する新しい画像ハーモナイゼーション手法を提案する。深層および浅層特徴を用いた粗大から細かい外見変換と、詳細を保持するための残差再構成戦略を活用することで、iHarmony4で38.57 dBのPSNRおよび21.43のMSEを達成し、パrameter数が少ないにもかかわらず、先行手法を上回る最先端の性能を実現した。

ABSTRACT

To achieve visual consistency in composite images, recent image harmonization methods typically summarize the appearance pattern of global background and apply it to the global foreground without location discrepancy. However, for a real image, the appearances (illumination, color temperature, saturation, hue, texture, etc) of different regions can vary significantly. So previous methods, which transfer the appearance globally, are not optimal. Trying to solve this issue, we firstly match the contents between the foreground and background and then adaptively adjust every foreground location according to the appearance of its content-related background regions. Further, we design a residual reconstruction strategy, that uses the predicted residual to adjust the appearance, and the composite foreground to reserve the image details. Extensive experiments demonstrate the effectiveness of our method. The source code will be available publicly.

研究の動機と目的

• 実画像における領域ごとの外見変化を考慮しないグローバル外見転送の限界を是正すること。
• 各前景位置を、最も関連性の高い背景領域に基づいて適応させることで、視覚的整合性を向上させること。
• 照明や色調などの外見属性のみを調整しながら、元の合成前景の微細な詳細を保持すること。
• 既存手法と比較してモデルの複雑さを低減しつつ、優れた性能を達成すること。

提案手法

• コンテンツ類似度を用いて、深層ニューラルネットワークの特徴空間で前景と背景の表現をマッチングし、各前景位置に対して関連性の高い背景領域を同定する。
• 2段階の外見変換戦略を採用する：グローバル構造を処理するための深層的・低解像度特徴を用いた粗大レベル戦略、および局所的詳細を処理するための浅層的・高解像度特徴とパッチベース統計を用いた細かいレベル戦略。
• 背景領域を重複するパッチに分割し、各パッチの外見はチャネル別平均および標準偏差によって表現する。
• コンテンツ類似度に基づく重み付き統合により外見転送を実行し、各前景ピクセルが最も関連性の高い背景リファレンスのみを用いて調整されるように保証する。
• 入力の合成画像に対して残差調整を学習・適用することで、元の前景詳細を保持するための残差再構成戦略を採用し、エンドツーエンド生成を回避する。
• U-Netベースの生成器内に実装されており、追加パrameterが最小限に抑えられており、高い性能と低い計算コストを実現している。

実験結果

リサーチクエスチョン

• RQ1 コンテンツ関連の背景領域をマッチングすることで、グローバル外見転送を上回る画像ハーモナイゼーションが可能になるか？
• RQ2 自己注意やグローバル統計ベースの手法と比較して、領域リファレンスマッチングは性能および効率性においてどのように異なるか？
• RQ3 残差ベースの再構成戦略は、照明や色調などの外見属性を調整しながらも、前景の詳細を保持できるか？
• RQ4 粗大から細かい外見変換は、合成画像における視覚的整合性をどの程度向上させるか？
• RQ5 コンテンツに応じた領域マッチングを用いることで、パrameter数を削減しながら性能を向上させることは可能か？

主な発見

• 提案手法は、iHarmony4ベンチマークで38.57 dBのPSNR、21.43のMSE、248.12のfMSEを達成し、比較されたすべての手法を上回った。
• わずか117.42Mのパrameterで、2番目に優れた手法よりも0.42 dB高いPSNRを達成し、優れたパrameter効率性を示した。
• グローバルAdaINモジュールを提案されたパッチから位置への変換（PTL）に置き換えることで、PSNRが0.33 dB向上、MSEが1.08低下、fMSEが17.69低下し、コンテンツに応じた領域マッチングの有効性が裏付けられた。
• チャネル幅をCから4Cに増加させることで、PSNRが0.60 dB向上、MSEが3.73低下、fMSEが34.57低下し、パラメータの増加に伴う性能低下が最小限に抑えられ、強力なスケーラビリティを示した。
• 特に高解像度特徴において、自己注意や他の注意メカニズムと比較して、性能および計算効率の両面で優れた性能を発揮した。
• アブレーションスタディにより、粗大から細かい戦略と残差再構成機構の両方が、高品質なハーモナイゼーションを達成するために不可欠であることが確認された。