[論文レビュー] Deep Image Harmonization by Bridging the Reality Gap

Junyan Cao, Wenyan Cong+3 more|arXiv (Cornell University)|Mar 31, 2021

Image and Signal Denoising Methods参考文献 4被引用数 9

ひとこと要約

本稿では、3Dレンダリングを用いて手動でのデータ収集作業を削減する大規模なレンダリング済み画像ハーモナイゼーションデータセットRdHarmonyを提案するとともに、敵対的損失、スタイリスティック損失、ドメイン不変特徴学習を用いてレンダリング済み画像と実画像の間のリアリティギャップを埋めるクロスドメインハーモナイゼーションネットワークCharmNetを導入する。本手法は、限られた実画像データのもとでも新しいカテゴリに対して優れた性能を発揮し、レンダリング済みドメインから実ドメインへの有効な知識移譲を示している。

ABSTRACT

Image harmonization has been significantly advanced with large-scale harmonization dataset. However, the current way to build dataset is still labor-intensive, which adversely affects the extendability of dataset. To address this problem, we propose to construct rendered harmonization dataset with fewer human efforts to augment the existing real-world dataset. To leverage both real-world images and rendered images, we propose a cross-domain harmonization network to bridge the domain gap between two domains. Moreover, we also employ well-designed style classifiers and losses to facilitate cross-domain knowledge transfer. Extensive experiments demonstrate the potential of using rendered images for image harmonization and the effectiveness of our proposed network.

研究の動機と目的

• 3Dレンダリングを用いて合成学習データを生成することで、現実世界の画像ハーモナイゼーションデータセット収集の人的負担を軽減すること。
• モデルの一般化性能を低下させるレンダリング済み画像（ソースドメイン）と実画像（ターゲットドメイン）の間のドメインギャップを解消すること。
• 特に既存の実データセットに存在しない新しいフォアグラウンドカテゴリに対し、効果的なクロスドメイン知識移譲を可能にすること。
• レンダリング済み画像と実画像の両方を統合的に活用した訓練フレームワークを構築し、分布外のテストケースにおいて性能を向上させること。

提案手法

• Unity3DとUniStormを用いて、多様な照明条件や撮影条件のもとで画像を生成することで、大規模なレンダリング済みハーモナイゼーションデータセットRdHarmonyを構築する。
• 3Dシーンのレンダリングを活用し、正確なフォアグラウンドマスクを備えた合成画像を生成することで、多数のトレーニングペアを容易に作成できるようにする。
• CharmNetを提案する。3段階のネットワーク構造：敵対的ドメインアライメントによるドメイン固有のエンコーディング、特徴共有のためのドメイン不変エンコーディング・デコーディング、再構成のためのドメイン固有のデコーディング。
• UniStormから得られる明示的なスタイリスティックラベルを活用し、スタイリスティック損失を導入することで、特徴の適応を促進し、クロスドメイン移譲を向上させる。
• 敵対的損失を用いて、レンダリング済み画像ドメインと実画像ドメインの間の特徴分布を一致させ、ドメインシフトを低減する。
• スタイリスティック集約（SA）損失を統合し、ドメイン間でのスタイリスティック特性を明示的にモデル化・移譲することで、特徴のハーモナイゼーションを強化する。

実験結果

リサーチクエスチョン

• RQ1 3Dレンダリングによるレンダリング済み画像が、最小限の人的ラベル付与で現実世界の画像ハーモナイゼーションデータセットを効果的に拡張できるか？
• RQ2 深層学習モデルが、画像ハーモナイゼーションにおいてレンダリング済み画像と実画像の間のドメインギャップを効果的に埋め合わせられるか？
• RQ3 レンダリング済み画像ドメインからの知識が、特に実データが少ない新規フォアグラウンドカテゴリの実画像テストにおいて、どの程度性能向上に寄与するか？
• RQ4 画像ハーモナイゼーションにおける効果的なクロスドメイン知識移譲に、どのコンponentが最も重要か？

主な発見

• 提案されたCharmNetは、新規カテゴリの現実世界テスト画像において最先端の性能を達成し、iDIH や CUT といったベースラインを顕著に上回っている。
• 敵対的損失とスタイリスティック損失を併用することで、ハーモナイゼーション品質に相乗効果が得られ、特にドメインアライメントに貢献するのは敵対的損失である。
• 新規カテゴリの実トレーニングデータにレンダリング済み画像を組み合わせることで、一貫した性能向上が得られ、特に実データが限られる状況で顕著である。
• アブレーションスタディの結果、ドメイン固有のエンコーディングとドメイン不変のデコーディング段階の両方が不可欠であり、非共有層の数をバランスよく設定することで最適な性能が達成される。
• 定性的な結果から、CharmNetはより視覚的に一貫性のあるハーモナイズド出力を生成しており、フォアグラウンドのスタイリスティックが背景と密接に一致している一方で、フォアグラウンドコンテンツの歪みは最小限に抑えられている。
• 現実世界の合成画像に対するユーザースタディの結果、RdHarmonyとCharmNetで訓練されたモデルは、ベースラインよりも好まれる視覚的品質を示している。