[論文レビュー] Robust Glare Detection: Review, Analysis, and Dataset Release

Mahdi Abolfazli Esfahani, Han Wang|arXiv (Cornell University)|Oct 12, 2021

Impact of Light on Environment and Health参考文献 14被引用数 7

ひとこと要約

本稿では、RGB、HSV、彩度（C）、勾配（G）の複数の画像表現を用いて訓練された、修正されたU-Netアーキテクチャを用いた耐障害性のある輝き検出手法を提案する。主な貢献は、公開初の輝き検出データセットの提供と、RGBと勾配表現を組み合わせることでF1スコアが最高の0.4927を達成したことである。これは、個々の表現や全組み合わせよりも優れているが、相補的な特徴情報のおかげである。

ABSTRACT

Sun Glare widely exists in the images captured by unmanned ground and aerial vehicles performing in outdoor environments. The existence of such artifacts in images will result in wrong feature extraction and failure of autonomous systems. Humans will try to adapt their view once they observe a glare (especially when driving), and this behavior is an essential requirement for the next generation of autonomous vehicles. The source of glare is not limited to the sun, and glare can be seen in the images captured during the nighttime and in indoor environments, which is due to the presence of different light sources; reflective surfaces also influence the generation of such artifacts. The glare's visual characteristics are different on images captured by various cameras and depend on several factors such as the camera's shutter speed and exposure level. Hence, it is challenging to introduce a general - robust and accurate - algorithm for glare detection that can perform well in various captured images. This research aims to introduce the first dataset for glare detection, which includes images captured by different cameras. Besides, the effect of multiple image representations and their combination in glare detection is examined using the proposed deep network architecture. The released dataset is available at https://github.com/maesfahani/glaredetection

研究の動機と目的

• 自律走行車両が撮影する画像における輝きの影響を軽減し、視覚的特徴抽出の質を向上させ、ナビゲーションと位置特定の信頼性を確保する。
• 多様なカメラと照明条件に適用可能な、耐障害性があり汎用性の高い輝き検出手法を開発する。
• RGB、HSV、彩度、勾配の異なる画像表現が、輝きセグメンテーションに与える影響を評価する。
• 実世界の条件下で収集された多様な輝き影響を受ける画像から構成される、新たなベンチマーク用データセットを公開する。
• F1スコア、適合率、再現率の観点から、検出性能を最大化する最適な画像表現の組み合わせを同定する。

提案手法

• 画像内の輝き領域をピクセル単位でセグメンテーションするために、修正されたU-Netアーキテクチャが用いられる。
• 複数の画像表現を入力として用いる：RGB、HSV、彩度（C）、勾配（G）、それぞれが輝きの異なる視覚的特徴を強調する。
• 勾配表現（G）は、画像強度の差分から導出され、輝きアーティファクトに共通するエッジや遷移を強調する。
• 彩度（C）はRGBから計算され、輝きに伴う色の彩度や明るさの変動を強調する。
• 新しく収集した200枚のアノテーション付き輝き画像データセットを用い、8分割交差検証でネットワークを訓練する。
• 適合率、再現率、F1スコア、正解率といった標準指標を用いて性能を評価し、標準偏差を併記する。

実験結果

リサーチクエスチョン

• RQ1 RGB、HSV、彩度、勾配のうち、どの画像表現が輝き検出において最高の性能を示すか？
• RQ2 複数の画像表現を組み合わせることで、輝きセグメンテーションの耐障害性と精度はどのように向上するか？
• RQ3 F1スコアを最大限にし、誤検出を最小限に抑える最適な画像表現の組み合わせは何か？
• RQ4 すべての表現を組み合わせることで性能が向上するのか、それともノイズを引き起こすのか？
• RQ5 多様なカメラデータで訓練されたディープラーニングモデルは、さまざまな種類の輝きや環境条件下でも汎用性を示せるか？

主な発見

• RGBと勾配（I_RGB & I_G）の組み合わせが、F1スコア最高の0.4927を達成し、適合率と再現率のバランスが最良であることが示された。
• 最高の再現率（0.7616）はI_RGB & I_Gの組み合わせで達成され、実際に存在する輝き領域の検出能が優れていることが示された。
• 最高の適合率（0.5083）と正解率（0.8950）はI_G & I_HSVの組み合わせで達成され、背景の抑制が優れていることが示された。
• RGB、HSV、勾配、彩度の全4つの表現を組み合わせた（I_RGB & I_HSV & I_G & I_C）場合、F1スコアは0.4662に低下し、冗長または矛盾する情報が性能を劣化させることを示した。
• I_G表現単体が、F1スコア最高の0.4635を達成し、鋭い強度変化といった輝きの特徴を効果的に捉えていることが示された。
• I_HSV表現は、再現率最高の0.6636を達成し、特に高コントラスト領域において輝き領域への感受性が強いことが示された。