[論文レビュー] Interactive Portrait Harmonization

Jeya Maria Jose Valanarasu, He Zhang+8 more|arXiv (Cornell University)|Mar 15, 2022

Image Enhancement Techniques被引用数 7

ひとこと要約

本稿では、人物や物体などの特定領域を背景画像から選択することで、フォアグラウンドの調和をガイドする、インタラクティブ・ポートレート調和（IPH）という新規フレームワークを紹介する。従来の方法が全体の背景に依存するのに対し、本手法はユーザーの制御を向上させる。スタイルエンコーダーを用いて参照領域の特徴を抽出・注入し、アダプティブ・インスタンス正規化と光度マッチング損失を活用することで、より現実的で制御可能なポートレート編集を実現。合成データおよび実世界データセット（屋外ポートレートも含む）において、最先端のベースラインを上回る性能を発揮する。

ABSTRACT

Current image harmonization methods consider the entire background as the guidance for harmonization. However, this may limit the capability for user to choose any specific object/person in the background to guide the harmonization. To enable flexible interaction between user and harmonization, we introduce interactive harmonization, a new setting where the harmonization is performed with respect to a selected \emph{region} in the reference image instead of the entire background. A new flexible framework that allows users to pick certain regions of the background image and use it to guide the harmonization is proposed. Inspired by professional portrait harmonization users, we also introduce a new luminance matching loss to optimally match the color/luminance conditions between the composite foreground and select reference region. This framework provides more control to the image harmonization pipeline achieving visually pleasing portrait edits. Furthermore, we also introduce a new dataset carefully curated for validating portrait harmonization. Extensive experiments on both synthetic and real-world datasets show that the proposed approach is efficient and robust compared to previous harmonization baselines, especially for portraits. Project Webpage at \href{https://jeya-maria-jose.github.io/IPH-web/}{https://jeya-maria-jose.github.io/IPH-web/}

研究の動機と目的

• 従来の画像調和手法が全体の背景をガイドとして使用するという制限を解消し、ポートレート編集におけるユーザーの制御性を向上させること。
• 背景内の特定領域（例：人物や物体）を選択することで、柔軟なユーザーインタラクションを可能にする。
• 特にスクリーン付きスタジオ背景や空間的に変化する照明といった困難な状況においても、ポートレート調和の現実性を向上させること。
• 調和とインタラクティブなカラーテンプレート移行を両立できる、ロバストで軽量なフレームワークを構築すること。
• 実世界の性能評価を目的とした、新しい屋外ポートレート調和データセットの構築。

提案手法

• 複合フォアグラウンドと参照領域を入力とするエンコーダ・デコーダネットワークを採用。参照領域はスタイルエンコーダーによって処理され、外見特徴が抽出される。
• フォアグラウンドと選択された参照領域の間で光度および色特性を一致させるために、光度マッチング損失を導入。視覚的リアリズムが向上する。
• アダプティブ・インスタンス正規化（AdaIN）層を用いて、参照スタイルをフォアグラウンドに注入。空間的詳細とアイデンティティを保持する。
• 明るさ/コントラスト、色ずれ、ガンマ補正、3D LUT、局所的照明効果（例：ドッジ、グレイン）を含むデータオーグメンテーションにより、モデルのロバスト性を向上。
• 異なる2つのスタイルコードを別々のエンコーダーから得てブレンドすることで、スタイルコードの損失を変更するだけで、インタラクティブカラーテンプレート移行に容易に応用可能。
• パラメータ効率に優れ、合計2700万パラメータのみを有する。これにより、Bargain-Net（5800万）やRain-Net（5400万）といった先行手法よりも軽量である。

実験結果

リサーチクエスチョン

• RQ1 全体の背景をガイドとして使用するのではなく、ユーザーが指定した領域を選択することで、ポートレート調和のリアリズムと制御性が向上するか？
• RQ2 光度マッチング損失は、フォアグラウンドと選択された参照領域間の外見をどれほど効果的に一致させられるか？
• RQ3 提案されたフレームワークは、視覚的品質とユーザー制御を維持したまま、インタラクティブカラーテンプレート移行に適応可能か？
• RQ4 既存の最先端調和手法がインタラクティブガイドをサポートできない理由は何か？また、その適応が妨げられるアーキテクチャ的制限は何か？
• RQ5 本手法は、複雑な照明条件や非一様な背景を有する実世界の屋外ポートレート合成において、どの程度の性能を発揮するか？

主な発見

• 提案されたIPHフレームワークは、合成データおよび実世界のポートレート合成において優れた視覚的品質を達成。特にスクリーンや空間的に変化する照明を有する背景では、従来手法が性能を発揮できない状況でも顕著に優れている。
• ユーザーが選択した参照領域は、Rain-Netのような最先端手法が特徴が明確でない背景では失敗する状況でも、より現実的かつ文脈的に適切な調和結果をもたらす。
• 光度マッチング損失により、フォアグラウンドと参照領域間の外見の一貫性が著しく向上し、色や明るさの不一致が低減される。
• 2つの異なるスタイルコードをブレンドすることで、スタイルコードの損失を変更するだけで、色変更の強度をブレンド比で制御可能なインタラクティブカラーテンプレート移行に効果的に再利用可能。
• IPHはパラメータ効率に優れており、2700万パラメータで、性能は同等または向上。これにより、モデル効率性が向上している。
• 実験により、Bargain-Net や Rain-Net といった既存ネットワークにインタラクティブガイド機能を追加しても、性能向上がほとんどまたは全く得られず、本手法のアーキテクチャ的革新性と必要性が明確になった。