[論文レビュー] BargainNet: Background-Guided Domain Translation for Image Harmonization

Wenyan Cong, Li Niu+3 more|arXiv (Cornell University)|Sep 19, 2020

Image Enhancement Techniques参考文献 12被引用数 5

ひとこと要約

BargainNetは、画像の調和化のための新しい背景誘導型ドメイン変換フレームワークを提案する。ドメインコード抽出器は、U-Net生成器を介して前景のスタイル変換を誘導する背景固有のドメインコードを学習する。本手法はドメインコードの正確性を保証するための特化された三重損失を用い、iHarmony4で最先端の性能を達成するとともに、非調和度予測といった追加タスクも可能にする。

ABSTRACT

Image composition is a fundamental operation in image editing field. However, unharmonious foreground and background downgrade the quality of composite image. Image harmonization, which adjusts the foreground to improve the consistency, is an essential yet challenging task. Previous deep learning based methods mainly focus on directly learning the mapping from composite image to real image, while ignoring the crucial guidance role that background plays. In this work, with the assumption that the foreground needs to be translated to the same domain as background, we formulate image harmonization task as background-guided domain translation. Therefore, we propose an image harmonization network with a novel domain code extractor and well-tailored triplet losses, which could capture the background domain information to guide the foreground harmonization. Extensive experiments on the existing image harmonization benchmark demonstrate the effectiveness of our proposed method. Code is available at https://github.com/bcmi/BargainNet.

研究の動機と目的

• 既存の画像調和化手法がスタイルの一致に際して背景の誘導的役割を無視するという限界に対処すること。
• 異なる撮影条件を異なるドメインとして扱う背景誘導型ドメイン変換問題として、画像調和化を再定式化すること。
• 部分畳み込みを用いて前景コンテンツからの干渉を最小限に抑えて、背景のドメイン情報を捕捉するドメインコード抽出器を設計すること。
• ドメインコードが真正のドメイン差を表すように、適切に調整された三重損失を用いた新しい学習目的を開発すること。
• 抽出されたドメインコードを活用して、背景調和化や非調和度予測といった後続の応用を可能にすること。

提案手法

• 部分畳み込みに基づくドメインコード抽出器は、前景への漏れを最小限に抑えて背景特徴を分離し、ドメイン固有のコードを抽出する。
• 背景のドメインコードは空間的にアップサンプリングされ、前景マスクと連結されて、U-Net生成器の入力条件として用いられる。
• 三重損失は、背景のドメインコードと実際の前景、調和化された前景のドメインコードを近づけ、合成前景のドメインコードを遠ざけるように設計されている。
• 三重損失は以下の制約を強制する：d(z_b, z_f) < d(z_b, z_f~)，d(z_b, z_hat_f) < d(z_b, z_f~)，d(z_f, z_hat_f) < d(z_f, z_f~)，合計6つの制約のうち。
• 生成器は注意機構を統合したU-Netアーキテクチャを用い、連結された前景マスクと背景ドメインコードを条件として調和化出力を生成する。
• モデルは、敵対的損失と知覚的損失に加え、提案された三重損失を併用して、iHarmony4ベンチマーク上でエンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 背景のドメイン情報は、画像調和化における前景スタイル変換を誘導するために効果的に抽出され、利用可能か？
• RQ2 背景誘導型ドメイン変換として画像調和化を定式化することで、従来手法に比べてより優れた視覚的および定量的結果が得られるか？
• RQ3 抽出されたドメインコードは、合成画像の非調和度を予測するために利用可能か？
• RQ4 提案された三重損失は、ドメインコードがセマンティック的なレイアウトではなくドメイン固有の特徴を捉えるように効果的に機能するか？
• RQ5 マスクとコードの役割を入れ替えることで、モデルを背景調和化に適応可能か？

主な発見

• 提案手法はiHarmony4ベンチマークで最先端の性能を達成し、DIH、S2AM、DoveNetを含む既存手法を定量的および定性的な評価の両方で上回った。
• 三重損失はドメインコードの品質を顕著に向上させた。トレーニング用三重組の95.6％が6つの制約すべてを満たしており、DoveNetと比較して高い比率であった。
• 99枚の実際の合成画像を用いたユーザースタディーでは、BargainNetが他のディープラーニング手法に比べて知覚的品質と現実性において好まれた。
• マスクとコードの役割を入れ替えることで、本手法は前景のみの調整を超えた一般化を示し、背景調和化を可能にした。
• 前景と背景のドメインコード間のユークリッド距離は、信頼性の高い非調和度予測指標として機能し、距離が大きいほど視覚的な不一致が顕著であることを示した。
• アブレーションスタディーにより、三重損失を除去すると調和化が不一致になりやすくなることが確認され、効果的なドメインコード学習のための必要性が裏付けられた。