[論文レビュー] Appearance Harmonization for Single Image Shadow Removal

Liqian Ma, Jue Wang+3 more|arXiv (Cornell University)|Mar 21, 2016

Generative Adversarial Networks and Image Synthesis参考文献 25被引用数 5

ひとこと要約

本稿では、非影領域からパッチベースの合成を用いて、影除去画像における色調およびテクスチャの不一致を自動で是正する手法であるShadow Region Harmonization (SRH) を提案する。CIELab色空間におけるガイド付きで信頼度を考慮した再構成プロセスを採用し、視覚的品質を著しく向上させ、ベンチマークデータセットにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

Shadows often create unwanted artifacts in photographs, and removing them can be very challenging. Previous shadow removal methods often produce de-shadowed regions that are visually inconsistent with the rest of the image. In this work we propose a fully automatic shadow region harmonization approach that improves the appearance compatibility of the de-shadowed region as typically produced by previous methods. It is based on a shadow-guided patch-based image synthesis approach that reconstructs the shadow region using patches sampled from non-shadowed regions. The result is then refined based on the reconstruction confidence to handle unique image patterns. Many shadow removal results and comparisons are show the effectiveness of our improvement. Quantitative evaluation on a benchmark dataset suggests that our automatic shadow harmonization approach effectively improves upon the state-of-the-art.

研究の動機と目的

• 既存の影除去技術が生成する影領域における視覚的不一致を是正すること。
• 手動入力が不要な完全自動の影領域統合を実現すること。
• 非影領域と一致する色調およびテクスチャに合わせることで、影除去画像の視覚的忠実度を向上させること。
• パッチベースの対応関係と信頼度重み付けを用いて、複雑な素材、ソフトシャドウ、テクスチャの変動に対処すること。
• 任意の既存の影除去手法と互換性を持つ後処理ソリューションを提供すること。

提案手法

• 本手法は、同じ画像内の非影領域から抽出したパッチを用いて、パッチベースの画像合成フレームワークで影領域を再構成する。
• 影領域と非影領域の間で局所的・パッチ単位の対応関係を確立し、パrametricな外観補正モデルを推定する。
• CIELab色空間において、Lチャンネルにゲインを、aおよびbチャンネルにバイアスを適用することで、色調およびテクスチャの統合を実現する。
• 各パッチごとに合成の信頼度を計算し、信頼性の高い一致を優先し、独自のテクスチャや対応が不十分な領域の結果を改善する。
• 信頼度値を統合する最適化プロセスを用いることで、弱いまたは曖昧なパッチ一致がある領域でも、堅牢な補正を実現する。
• 初期の影除去結果をガイドとして用いるため、あらゆる既存の影除去アルゴリズムと互換性を持つ。

実験結果

リサーチクエスチョン

• RQ1 完全自動の手法が、影除去画像における色調およびテクスチャの不一致を効果的に是正できるか。
• RQ2 パッチベースの合成をどのように調整することで、影領域と非影領域の間で一貫的かつ堅牢に外観を統合できるか。
• RQ3 信頼度重み付きパッチマッチングが、独自のテクスチャや対応が悪い領域でどの程度性能を向上させられるか。
• RQ4 色空間の選択およびゲイン／バイアスパラメータの設定が、外観統合の性能にどのように影響するか。
• RQ5 本手法は、ソフトシャドウや複雑な素材を含む多様な影の種類に一般化可能か。

主な発見

• 提案されたSRH手法は、定性的および定量的評価の両面で視覚的品質を著しく向上させ、最先端の影除去技術を上回る性能を発揮した。
• ベンチマークデータセットにおいて、Model 0（CIELabにLゲインとabバイアスを適用）がテストされた色空間モデルの中で最高の性能を示した。
• 中程度のパラメータ設定（Lゲイン [0.9,1.11]、abバイアス [-0.05,0.05]）が最小の誤差を達成し、報告されたすべての結果に採用された。
• ノイズや残留影に対して頑健であり、α=0.2の状態でもガウスノイズが加わった状況においても、色分布とテクスチャの詳細を正常に是正できた。
• 影領域内の内部不一致は効果的に低減されたが、境界の不連続性や影検出の失敗は完全に解消できなかった。
• パラメータ範囲による性能差は小さく、ハイパーパramータ設定に対して強い頑健性を示した。