[論文レビュー] FRIH: Fine-grained Region-aware Image Harmonization

Jinlong Peng, Zekun Luo+7 more|arXiv (Cornell University)|May 13, 2022

Image and Signal Denoising Methods被引用数 5

ひとこと要約

本稿では、局所領域ごとに調整を行うことで現実性を向上させる、2段階でエンドツーエンドのフレームワークであるFRIHを提案する。局所領域のRGB値に基づく適応的クラスタリングと、特徴量統合を施した軽量な段階的モジュールを用い、局所的な詳細を強化することで、iHarmony4で38.19 dBのPSNRというSOTA性能（パrameter数は11.98M）を達成した。

ABSTRACT

Image harmonization aims to generate a more realistic appearance of foreground and background for a composite image. Existing methods perform the same harmonization process for the whole foreground. However, the implanted foreground always contains different appearance patterns. All the existing solutions ignore the difference of each color block and losing some specific details. Therefore, we propose a novel global-local two stages framework for Fine-grained Region-aware Image Harmonization (FRIH), which is trained end-to-end. In the first stage, the whole input foreground mask is used to make a global coarse-grained harmonization. In the second stage, we adaptively cluster the input foreground mask into several submasks by the corresponding pixel RGB values in the composite image. Each submask and the coarsely adjusted image are concatenated respectively and fed into a lightweight cascaded module, adjusting the global harmonization performance according to the region-aware local feature. Moreover, we further designed a fusion prediction module by fusing features from all the cascaded decoder layers together to generate the final result, which could utilize the different degrees of harmonization results comprehensively. Without bells and whistles, our FRIH algorithm achieves the best performance on iHarmony4 dataset (PSNR is 38.19 dB) with a lightweight model. The parameters for our model are only 11.98 M, far below the existing methods.

研究の動機と目的

• 既存の画像ハーモナイゼーション手法が、全体の前面に対して一様な処理を適用するという制限を解消すること。
• 局所的な色のパターンや構造的特徴に基づいた、領域別ハーモナイゼーションを可能にすることで、合成画像の現実性を向上させること。
• 複雑なアーキテクチャや大規模なパrameter数に依存せずに、優れた性能を達成できる、軽量でエンドツーエンドで学習可能なフレームワークを設計すること。
• 緑色の服や赤い花輪など、明確な色やテクスチャを持つ部分の細部の保持を向上させること。これらの部分は、グローバルな手法ではしばしば不十分にハーモナイズされる。
• ベンチマークデータセットを用いた定量的指標と人間評価を通じて、本手法の有効性を検証すること。

提案手法

• 本手法は2段階のフレームワークを採用する。まず、全前面マスクを用いたU-Netに類似したエンコーダ・デコーダを用いて、グローバルで粗いハーモナイゼーションを実行する。
• 2段階目では、合成画像内の対応するピクセルのRGB値に基づいて、前面マスクを適応的にサブマスクにクラスタリングし、リージョンアウェア処理を可能にする。
• 各サブマスクは、粗く調整された画像と連結され、軽量な段階的デコーダモジュールに供給され、局所的なハーモナイゼーションを精緻化する。
• 特徴量統合予測モジュールは、すべてのデコーダ層からの特徴量を組み合わせ、多層のハーモナイゼーション結果を包括的に活用して最終出力を得る。
• ネットワーク全体をエンドツーエンドで学習させ、グローバル最適化を確保する。サブマスクのクラスタリングは入力画像の内容に応じて動的に適応する。
• クラスタリングの閾値$d_c$は0.1に設定され、最適な性能を得るために粒度とノイズ低減のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 2段階でリージョンアウェアなアプローチにより、局所的な外観パターンに応じた処理を適応させることで、画像ハーモナイゼーションの性能が向上するか？
• RQ2 RGB値に基づく前面マスクの適応的クラスタリングは、多様な色領域における細部の保持を向上させるか？
• RQ3 パrameter数がたった11.98Mの軽量モデルが、PSNRおよび視覚的品質の両面で、既存のSOTA手法を上回る性能を発揮できるか？
• RQ4 多層のデコーダ特徴量の統合は、単一層の予測と比較して、最終的なハーモナイゼーション結果をどのように向上させるか？
• RQ5 ユーザー研究による評価で、本手法は人間の知覚に照らしてどれほど現実性が向上するか？

主な発見

• FRIHはiHarmony4データセットで38.19 dBという最高のPSNRを達成し、すべての既存のSOTA手法を上回った。
• モデルのパラメータ数は1198万個にとどまり、競合手法（例：DoveNet: 5476万、IIH: 4083万）と比べて顕著に少ない。これは高い効率性を示している。
• 計算コストは25.12 GFLOPSにまで低減され、DoveNet や RainNet などの軽量モデルと同等であり、IIH（196.3 GFLOPS）と比べて著しく低い。
• ユーザー調査では、FRIHが733票（40.6%の選好率）を獲得し、DoveNet（12.1%）、RainNet（23.2%）および他のSOTA手法を大きく上回った。
• 定性的な結果から、FRIHは緑色のシャツや赤い花輪といった複雑な領域の細部を、ベースライン手法が失敗するのとは対照的に、よりよく保持していることが明らかになった。
• アブレーションスタディにより、$d_c = 0.1$が最適な性能をもたらすことが確認された。$d_c = 0.01$（細かすぎる）および$d_c = 0.3, 0.4$（粗すぎる）の設定では、ノイズや誤分類のため性能が劣化した。