[論文レビュー] A Reflectance Based Method For Shadow Detection and Removal

Sri Kalyan Yarlagadda, Fengqing Zhu|arXiv (Cornell University)|Jul 11, 2018

Video Surveillance and Tracking Methods参考文献 10被引用数 4

ひとこと要約

本稿では、反射率、テクスチャ、輝度特性を用いたトレーニング不要なシャドウ検出手法を提案する。この手法は、カラー画像内のシャドウ・ノンシャドウセグメントペアを特定するために、中央値の色差、角度閾値、反復的精錬を活用し、深層学習やCRFベースの手法よりも少ないパラメータで高いシャドウ検出精度（UIUCで90.6%、UCFで92.0%）を達成する。

ABSTRACT

Shadows are common aspect of images and when left undetected can hinder scene understanding and visual processing. We propose a simple yet effective approach based on reflectance to detect shadows from single image. An image is first segmented and based on the reflectance, illumination and texture characteristics, segments pairs are identified as shadow and non-shadow pairs. The proposed method is tested on two publicly available and widely used datasets. Our method achieves higher accuracy in detecting shadows compared to previous reported methods despite requiring fewer parameters. We also show results of shadow-free images by relighting the pixels in the detected shadow regions.

研究の動機と目的

• 単一カラー画像におけるシャドウ検出の正確性を高めるための挑戦に応えること。特に、シャドウと照度の違いが視覚的に曖昧な状況を想定する。
• 深層学習やCRFベースの手法よりも少ないパラメータで高い検出精度を維持できる手法を開発すること。
• 反射率と照度の一貫性に基づいて正確にシャドウ領域を特定することで、効果的なシャドウ除去を可能にすること。
• 反射率、テクスチャ、輝度のセグメントレベル比較を用いることで、複雑なシーンにおけるロバスト性を向上させること。

提案手法

• 本手法は、反射率と照度が類似するピクセルをグループ化する目的で、サイズ9のガウスカーネルを用いたQuickshiftアルゴリズムによる画像セグメンテーションから開始する。
• 反射率分類器は、ノンシャドウセグメントの中央値色と差分ベクトル（I_NS - I_S）との間の角度を計算し、10°の閾値を適用して同じ素材のペアを特定する。
• 輝度分類器は、シャドウセグメントが暗いことを保証するため、Otsu法によるグレースケール閾値を適用し、シャドウ領域を低輝度セグメントに制限する。
• テクスチャ分類器は、セグメントペア間の局所的テクスチャ特徴（局所的バイナリパターンを用いて）を比較し、シャドウ検出の信頼性を強化する。
• 初期のセグメントペアから接続グラフを構築し、幾何的および強度的一致性を用いて反復的に精錬することで、マスクの精度を向上させる。
• 精錬プロセスでは、より小さなカーネル（サイズ3）を用いて再セグメンテーションを行い、Otsu閾値を下回るピクセルの割合が70%を超えるかどうかに基づいて、セグメントをシャドウまたはノンシャドウにラベル付ける。

実験結果

リサーチクエスチョン

• RQ1 トレーニングを必要としない手法が、反射率と照度の一貫性のみを用いて高いシャドウ検出精度を達成できるか？
• RQ2 変化する照明条件下でも、中央値色ベクトル間の角度基準がシャドウと照度の違いを区別するのにどの程度有効か？
• RQ3 反射率、テクスチャ、輝度のセグメントレベル比較が、少ないパラメータで学習ベースの手法を上回れるか？
• RQ4 セグメント接続の反復的精錬が、シャドウマスクの精度をどの程度向上させるか？

主な発見

• UIUCデータセットでは、90.6%のシャドウ検出精度を達成し、ユニタリ＋ペairwise（71.6%）およびConvNet（84.7%）手法を上回った。
• UIUCにおけるバランス誤差率（BER）は0.119であり、ConvNetの0.099よりわずかに高いが、パラメータがはるかに少ないため、依然として競争力がある。
• より複雑なUCFデータセットでは、92.0%のシャドウ検出精度を記録し、BDT-BCRF（63.9%）、ユニタリ＋ペairwise（73.3%）、ConvNet（78.0%）を上回った。
• UCFにおけるBERは0.1265であり、比較した全手法よりも優れており、不均衡データに対する強い性能を示している。
• リライティング技術を用いてテスト画像のシャドウを効果的に除去した。これは、画像強調処理における実用的価値を示している。
• より小さなカーネルとOtsu閾値を用いた精錬により、境界の正確性が向上し、非常に明るいセグメントからの誤検出が減少した。