[論文レビュー] Shadow Optimization from Structured Deep Edge Detection

Shen Li, Teck Wee Chua+1 more|arXiv (Cornell University)|May 7, 2015

Video Surveillance and Tracking Methods参考文献 8被引用数 25

ひとこと要約

本論文は、局所的なシャドウエッジ構造モデリングのための構造的CNNと、シャドウ／明るい領域の測定値を用いたグローバル最小二乗最適化を組み合わせた、単一画像におけるシャドウ検出のための新規ディーブラーニングフレームワークを提案する。局所的な構造的一致性と非局所的領域間相互作用を活用することで、ベンチマークデータセット上で先行手法に比べ最大5%の性能向上を達成した。

ABSTRACT

Local structures of shadow boundaries as well as complex interactions of image regions remain largely unexploited by previous shadow detection approaches. In this paper, we present a novel learning-based framework for shadow region recovery from a single image. We exploit the local structures of shadow edges by using a structured CNN learning framework. We show that using the structured label information in the classification can improve the local consistency of the results and avoid spurious labelling. We further propose and formulate a shadow/bright measure to model the complex interactions among image regions. The shadow and bright measures of each patch are computed from the shadow edges detected in the image. Using the global interaction constraints on patches, we formulate a least-square optimization problem for shadow recovery that can be solved efficiently. Our shadow recovery method achieves state-of-the-art results on the major shadow benchmark databases collected under various conditions.

研究の動機と目的

• 複雑な照明条件や幾何的要因による、単一画像におけるシャドウ検出の不一致やノイズの問題に対処すること。
• 隣接するシャドウエッジ間の構造的関係をモデル化することで、シャドウ境界予測の局所的整合性を向上させること。
• ユニタリな分類器やCRFベースの後処理の限界を克服するため、非局所的領域制約を組み込んだグローバル最適化フレームワークを導入すること。
• 屋内、屋外、航空画像を含む多様なシーンに一般化可能な、ロバストで効率的なシャドウ回復手法を開発すること。
• 従来の手法が失敗する、ソフトシャドウ、低照度領域、自己遮蔽領域の正確な検出を可能にすること。

提案手法

• 局所的な5x5シャドウエッジ構造を表す25x1のバイナリベクトルを予測する構造的CNN（strCNN）を採用し、直線、曲線、コーナーなどの空間パターンを捉える。
• 隣接するラベルの依存関係を用いて、局所的整合性を向上させ、誤検出を低減するため、シャドウエッジ検出を構造的ラベル付け問題として定式化する。
• 各画像ピクセルに対して、検出されたシャドウおよび明るい境界への接続性に基づいて、シャドウおよび明るい測定値を定義し、長距離領域間相互作用をモデル化する。
• シャドウ／明るい測定値を用いて非局所的制約を統合する最小二乗最適化問題を定式化し、一貫性のあるシャドウマップ回復を保証する。
• CRF/GBP/MRF推論の計算負荷を回避するため、閉形式解を用いて線形時間で効率的に最適化を解く。
• 構造的CNNとグローバル最適化をエンドツーエンドパイプラインに統合する：エッジ検出 → 測定値計算 → シャドウマップ回復。

実験結果

リサーチクエスチョン

• RQ1 標準的なユニタリ分類と比較して、構造的ディーブラーニングはシャドウエッジ検出における局所的整合性を向上させ得るか？
• RQ2 特にシャドウ領域と明るい領域間の非局所的領域相互作用は、どのように効果的にモデル化できるか？
• RQ3 シャドウ／明るい測定値に基づくグローバル最適化フレームワークは、CRFベースの後処理に比べ、精度と効率の面で優れているか？
• RQ4 提案手法は、ソフトシャドウ、色かぶり、複雑な自己遮蔽といった多様な現実世界の条件下でも一般化可能か？
• RQ5 局所的な構造的事前知識を組み込むことで、ベンチマークデータセット上の検出性能はどの程度向上するか？

主な発見

• 提案手法SCNN-LinearOptはUCFデータセットで93.1%（サブセットでは92.3%）の精度を達成し、Khanら（2017）による先行SOTAの90.7%を上回った。
• CMUデータセットでは94.0%の精度を達成し、前回SOTAの88.8%から5.2%の向上を達成した。
• UIUCデータセットでは93.4%の精度を達成し、先行SOTAの93.2%を上回った。
• UCFでは91.1%、CMUでは91.6%のシャドウ検出精度を達成し、クラス別性能においても他の手法を顕著に上回った。
• 定性的な結果から、ソフトシャドウ、低照度状態、曖昧な色領域といった困難なケースに対してもロバストであることが示された。
• AUC比較により、UCF、UIUC、CMUの3つのベンチマークデータセットすべてで最高のAUCを確認し、優れた性能を裏付けた。