[論文レビュー] Spatial-Separated Curve Rendering Network for Efficient and High-Resolution Image Harmonization

Jingtang Liang, Xiaodong Cun+2 more|arXiv (Cornell University)|Sep 13, 2021

Advanced Vision and Imaging参考文献 41被引用数 5

ひとこと要約

本稿では、画素単位の変換ではなく、グローバルなカーブパラメータ学習として色補正をモデル化することにより、効率的で高解像度の画像ハーモナイゼーションを実現する新規な空間分離型カーブレンダリングネットワーク、S2CRNetを提案する。前景および背景のスモールチップから空間特徴を抽出し、ピecewise線形カーブを生成するカーブレンダリングモジュールを用いることで、90%以上のパラメータ削減と2048×2048解像度で0.1秒未満の推論時間を達成し、最先端の性能を実現した。

ABSTRACT

Image harmonization aims to modify the color of the composited region with respect to the specific background. Previous works model this task as a pixel-wise image-to-image translation using UNet family structures. However, the model size and computational cost limit the ability of their models on edge devices and higher-resolution images. To this end, we propose a novel spatial-separated curve rendering network(S$^2$CRNet) for efficient and high-resolution image harmonization for the first time. In S$^2$CRNet, we firstly extract the spatial-separated embeddings from the thumbnails of the masked foreground and background individually. Then, we design a curve rendering module(CRM), which learns and combines the spatial-specific knowledge using linear layers to generate the parameters of the piece-wise curve mapping in the foreground region. Finally, we directly render the original high-resolution images using the learned color curve. Besides, we also make two extensions of the proposed framework via the Cascaded-CRM and Semantic-CRM for cascaded refinement and semantic guidance, respectively. Experiments show that the proposed method reduces more than 90% parameters compared with previous methods but still achieves the state-of-the-art performance on both synthesized iHarmony4 and real-world DIH test sets. Moreover, our method can work smoothly on higher resolution images(eg., $2048 imes2048$) in 0.1 seconds with much lower GPU computational resources than all existing methods. The code will be made available at \url{http://github.com/stefanLeong/S2CRNet}.

研究の動機と目的

• 高解像度およびエッジデバイス上で、従来のUNetベースの画像ハーモナイゼーションモデルの非効率さと高い計算コストを解消すること。
• 深層学習モデルにおける画素単位の予測の限界を克服し、画像解像度の増加に伴いスケーリングが困難な問題を解決すること。
• 画素単位の調整ではなく、グローバルカーブパラメータ学習としてタスクを再考することで、リアルタイムかつ高解像度の画像ハーモナイゼーションを実現すること。
• 学習済みの色カーブをユーザーが手動で微調整可能な透明で編集可能なフレームワークを導入すること。
• さらに、段階的で意味的ガイダンスを組み合わせることで、より良い精錬とドメインに適したハーモナイゼーションを実現すること。

提案手法

• SqueezeNet や VGG16 などの共有事前学習バックボーンを用いて、前後景の低解像度スモールチップから空間分離型グローバル特徴を抽出する。
• 前後景特徴に別々の線形プロジェクションを適用し、領域固有の埋め込みを学習する。
• 2つの埋め込みを統合して、各RGBチャネルにおけるピecewise線形色カーブ関数のパラメータを生成する。
• 画素単位の予測を回避し、学習済みのカーブパラメータを直接用いて元の高解像度前景をレンダリングする。
• 複数のカーブパラメータを逐次に予測することで、段階的精錬を実現するためのCascaded-CRMを導入する。
• 前後景のカテゴリに応じたクラス認識の意味的埋め込みを組み込み、カーブ学習をガイドするSemantic-CRMを導入する。

実験結果

リサーチクエスチョン

• RQ1 画像ハーモナイゼーションは、画素単位の画像対画像変換ではなく、グローバルカーブパラメータ学習問題として効果的にモデル化可能か？
• RQ2 カーブベースのレンダリングアプローチは、モデルサイズと推論コストを著しく削減しながらも、最先端の性能を達成可能か？
• RQ3 2048×2048解像度などの高解像度画像において、本手法は従来手法と比較して速度と計算効率の面でどのように性能を発揮するか？
• RQ4 段階的および意味的ガイダンスの導入により、新規の背景やオブジェクトへの一般化性能とハーモナイゼーション品質が向上するか？
• RQ5 ピiecewise線形近似におけるカーブレベル数（L）の変更に伴い、性能はどの程度感度を示すか？

主な発見

• S2CRNetは、iHarmony4およびDIHデータセットの両方で、従来のSOTA手法と比較して90%以上のパラメータ削減を達成しながら、性能を維持または向上させた。
• 2048×2048解像度で推論時間を0.1秒未満に抑え、わずか0.61 G MACSで、従来手法に比べて顕著に高速かつ計算効率が優れた性能を示した。
• アブレーションスタディの結果、L=64のカーブレベルが最良のトレードオフを示した。Lを64以上に増加させても性能向上は微増であり、iHarmonyデータセットでは結果が劣化する可能性も示された。
• 定量的比較により、ピiecewise線形カーブ（Ours）がZero-DCE や 3DLUT と比較して、HCOCOおよびiHarmonyの全指標（MSE↓、PSNR↑、SSIM↑）で優れた性能を示した。
• Cascaded-CRMにより段階的精錬が可能となり、複数回のカーブ予測によって著しく改善されたハーモナイゼーション結果が得られた。
• 本手法は、以前に見られなかった新しい背景に対して、良好な一般化性能を示しており、新規の前景と背景のハーモナイゼーションが成功した。