[論文レビュー] Deep Image Harmonization

Yi‐Hsuan Tsai, Xiaohui Shen+4 more|arXiv (Cornell University)|Feb 28, 2017

Image Enhancement Techniques参考文献 30被引用数 19

ひとこと要約

本論文では、前景の外観をリアルな合成画像に調整するために、文脈的特徴と意味的特徴を同時に学習するエンドツーエンドのディープ畳み込みニューラルネットワークを提案する。大規模かつ高品質な合成トレーニングデータセットを活用することで、先行研究の最先端手法を上回る性能を達成し、実際の合成画像において1.424のB-Tスコアを記録した。また、GPU上で0.1秒という高速な処理時間を実現した。

ABSTRACT

Compositing is one of the most common operations in photo editing. To generate realistic composites, the appearances of foreground and background need to be adjusted to make them compatible. Previous approaches to harmonize composites have focused on learning statistical relationships between hand-crafted appearance features of the foreground and background, which is unreliable especially when the contents in the two layers are vastly different. In this work, we propose an end-to-end deep convolutional neural network for image harmonization, which can capture both the context and semantic information of the composite images during harmonization. We also introduce an efficient way to collect large-scale and high-quality training data that can facilitate the training process. Experiments on the synthesized dataset and real composite images show that the proposed network outperforms previous state-of-the-art methods.

研究の動機と目的

• 前景と背景の外観が不一致となるようなリアルな合成画像の生成という課題に取り組む。
• 従来の手法が手作業で設計された特徴量や統計的マッチングに依存しており、外観の差が大きい場合には失敗するという限界を克服する。
• 文脈的および意味的情報を同時に捉えることで、より優れた調和化を実現するエンドツーエンドのディープラーニングフレームワークを開発する。
• プロフェッショナルな編集が必要なため、画像調和化用の大規模かつ高品質なトレーニングデータセットを構築する。
• リアルな合成画像の品質を維持しつつ、リアルタイムの推論を可能にする。

提案手法

• 二本の分岐を持つエンコーダ・デコーダCNNアーキテクチャを提案し、一方の分岐は画像調和化を、もう一方はシーン解析を担当する。両分岐は同じエンコーダを共有して特徴量の学習を行う。
• ネットワークは、シーン解析分岐から得られる意味的ヒントを、調和化分岐における前景外観の調整をガイドするように、同時に学習する。
• 実画像と前景オブジェクト、背景を組み合わせることで、現実的な合成画像の分布を再現する大規模かつ高品質なトレーニングペアを生成する効率的なデータ合成パイプラインを構築した。
• モデルは合成画像と前景マスクを入力とし、前景外観を調整した調和化済み画像を直接出力する。
• ジョイントトレーニング方式によりエンドツーエンド最適化が可能となり、意味理解に基づいた文脈に配慮した外観調整が可能になる。
• トレーニングプロセスでは、合成データセットからの真値の調和化画像を用いて、調和化およびシーン解析の両タスクを監視する。

実験結果

リサーチクエスチョン

• RQ1 文脈的および意味的情報を併用することで、エンドツーエンドのディープラーニングモデルが合成画像を効果的に調和化できるか？
• RQ2 調和化とシーン解析を同時に学習することで、統計的マッチングのみを用いる手法と比較して、どれほどリアルさが向上するか？
• RQ3 データ生成パイプラインを用いて構築した大規模かつ高品質な合成データセットは、実世界の合成画像に十分に一般化できるか？
• RQ4 最先端の手法と比較して、本手法はリアルさと推論速度の両面でどの程度の性能向上を達成できるか？
• RQ5 複雑な背景やクリッピングされた背景を含む、任意の前景マスクに対してもモデルは一般化できるか？

主な発見

• 本手法は、実際の合成画像においてB-Tスコア1.424を達成し、次に優れた手法（1.139）を顕著に上回った。
• 合成データセット上でも優れた定量的結果を達成しており、大規模なトレーニングデータからの有効な学習が示された。
• 従来の統計的マッチングや最適化ベースの手法が10秒以上かかっていたのに対し、本手法はTitan X GPU上で0.1秒という極めて短い推論時間にまで短縮された。
• 異なる前景マスク、特に逆転マスクに対しても良好な一般化性能を示し、文脈的および意味的ヒントの変化に強く対応していることがわかった。
• ユーザー評価では、[28]および[32]と比較して、本手法がよりリアルな結果を生成することが確認された。特に外観の差が大きいケースで顕著な優位性を示した。
• 調和化とシーン解析のジョイントトレーニングにより、意味的認識に基づいた調整が可能となり、周囲のトーンに合わせて空の領域を適切に変更するなど、視覚的な妥当性が向上した。