[論文レビュー] Fast Shadow Detection from a Single Image Using a Patched Convolutional Neural Network

Sepideh Hosseinzadeh, Moein Shakeri+1 more|arXiv (Cornell University)|Sep 26, 2017

Video Surveillance and Tracking Methods参考文献 20被引用数 8

ひとこと要約

本稿では、スーパーピクセルセグメンテーションとSVMを用いて生成されたシャドウプリオormapを活用することで、計算コストを低減する patched convolutional neural network (CNN) を用いた、高速かつ高精度なシャドウ検出手法を提案する。スーパーピクセルレベルの特徴量で学習を行い、境界ピクセルを2回目のCNNプロセスで精緻化することで、最先端のディープラーニング手法と比較して最大100倍の高速な推論を達成しながら、ベンチマークデータセット上で競争力のある精度を維持する。

ABSTRACT

In recent years, various shadow detection methods from a single image have been proposed and used in vision systems; however, most of them are not appropriate for the robotic applications due to the expensive time complexity. This paper introduces a fast shadow detection method using a deep learning framework, with a time cost that is appropriate for robotic applications. In our solution, we first obtain a shadow prior map with the help of multi-class support vector machine using statistical features. Then, we use a semantic- aware patch-level Convolutional Neural Network that efficiently trains on shadow examples by combining the original image and the shadow prior map. Experiments on benchmark datasets demonstrate the proposed method significantly decreases the time complexity of shadow detection, by one or two orders of magnitude compared with state-of-the-art methods, without losing accuracy.

研究の動機と目的

• 既存のディープラーニングベースのシャドウ検出手法の高い時間計算量が、リアルタイムのロボットアプリケーションへの応用を制限しているという問題に取り組む。
• スーパーピクセルセグメンテーションと学習されたシャドウプリオを活用することで、検出精度を損なわず計算効率を向上させる。
• 推論時間を1枚あたり2秒未塔に短縮することで、ロボティクス分野におけるリアルタイムシャドウ検出を可能にする。
• 照明条件や画像品質の変動に強く、照明モデルやカメラモデルに関する仮定を必要としない堅牢な手法を実現する。
• 道路検出や航空画像処理を含む実用的応用分野における手法の有効性を示す。

提案手法

• 入力画像を空間的複雑性を低減するため、mean shiftアルゴリズムを用いてスーパーピクセルにセグメンテーションする。
• 各スーパーピクセルから色およびテクスチャ特徴量を抽出し、それらを訓練済みの多クラスSVMに供給して、各領域がシャドウである確率を示すシャドウプリオマップを生成する。
• 元のRGB画像とシャドウプリオマップを連結し、それらをパッチレベルのCNNに供給することで、スーパーピクセルレベルでのシャドウ確率マップを予測する。
• スーパーピクセル間の境界ピクセルは、同じパッチレベルCNNを再適用することで精緻化され、局所化精度が向上する。
• 最終的なシャドウ確率マップは、2段階の予測プロセスにより生成される：まずスーパーピクセル特徴量に基づく領域ベースの予測、次に境界の精緻化のためのエッジベースの予測。
• ピクセル単位の予測を回避することで、計算負荷を顕著に低減しつつ、空間的整合性と精度を維持する。

実験結果

リサーチクエスチョン

• RQ1 シャドウ検出手法は、1〜2桁の時間計算量の低減を達成しながら、最先端の精度を維持できるか？
• RQ2 スーパーピクセルセグメンテーションと学習されたシャドウプリオマップを組み合わせることで、性能を劣化させずに推論速度が向上するか？
• RQ3 スーパーピクセル特徴量で学習されたパッチレベルCNNは、ピクセルレベルCNNよりもシャドウ検出の速度と精度で優れるか？
• RQ4 2段階の予測（領域ベースとエッジベース）は、単一段階手法と比較して境界の局所化を改善するか？
• RQ5 提案手法は、道路検出や航空画像処理を含む実世界のロボットアプリケーションに効果的に応用可能か？

主な発見

• SBUデータセットにおいて、本手法は1枚あたり1.87秒のテスト時間にまで短縮され、次に速い手法（Stacked-CNN）と比較して100倍の高速化を達成した。
• 統合データセットでは、1枚あたり1.55秒のテスト時間を達成し、統計的手法およびディープラーニングベースのベースラインと比較して顕著に高速であった。
• 本手法は競争力のある精度を維持し、統合データセットで全体の正答率が91.03%に達し、unary-pairwise手法を上回り、最も優れたSOTA手法と同等の性能を示した。
• SVMで生成されたシャドウプリオマップは、CNNの一般化性能を向上させ、わずかな精度損失で高速な訓練と推論を可能にした。
• St. Lucia、UACampus、および航空画像における定性的な結果から、高品質な確率マップが得られ、多様な実世界シナリオにおいて堅牢性を示した。
• 2段階の精緻化プロセスは、曖昧なシャドウ境界を有する複雑なシーンにおいても、境界の局所化を顕著に改善した。