[論文レビュー] Exploring Image Enhancement for Salient Object Detection in Low Light Images

Xin Xu, Shiqin Wang+3 more|arXiv (Cornell University)|Jul 31, 2020

Visual Attention and Saliency Detection参考文献 66被引用数 8

ひとこと要約

本稿では、低照度画像における顕著オブジェクト検出（SOD）の性能向上を目的として、物理的照明モデルに基づく画像強調法であるPIEを深層ニューラルネットワークに統合した手法を提案する。環境光を空間的に変化する変数としてモデル化し、長距離の文脈を捉えるためにNon-Local-Block Layerを用いることで、画像品質の向上とSOD性能の向上を実現した。本手法は、4つの公的ベンチマークデータセットおよび1つの独自ベンチマークデータセット（NTI-V1）で最先端の結果を達成した。

ABSTRACT

Low light images captured in a non-uniform illumination environment usually are degraded with the scene depth and the corresponding environment lights. This degradation results in severe object information loss in the degraded image modality, which makes the salient object detection more challenging due to low contrast property and artificial light influence. However, existing salient object detection models are developed based on the assumption that the images are captured under a sufficient brightness environment, which is impractical in real-world scenarios. In this work, we propose an image enhancement approach to facilitate the salient object detection in low light images. The proposed model directly embeds the physical lighting model into the deep neural network to describe the degradation of low light images, in which the environment light is treated as a point-wise variate and changes with local content. Moreover, a Non-Local-Block Layer is utilized to capture the difference of local content of an object against its local neighborhood favoring regions. To quantitative evaluation, we construct a low light Images dataset with pixel-level human-labeled ground-truth annotations and report promising results on four public datasets and our benchmark dataset.

研究の動機と目的

• 低照度画像におけるコントラスト低下と不均一な照度のため、顕著オブジェクト検出（SOD）の性能が劣化するという課題に対処すること。
• 物理的照明劣化を明示的にモデル化する画像強調法を開発し、SOD性能の向上を図ること。
• 実世界の低照度状況下でのSOD評価を可能とする、ピクセル単位のアノテーションを有する新しい低照度画像データセットを構築すること。
• 環境光を点ごとの変数として明示的にモデル化することで、低照度状況下でのSODのロバスト性が著しく向上することを示すこと。

提案手法

• 深層ニューラルネットワークに物理的照明モデルを埋め込み、環境光を定数ではなく空間的に変化する（点ごとの）変数として扱う。
• 顕著オブジェクトとその局所的周辺部との間の長距離の依存関係や差異を捉えるために、Non-Local-Block（NLB）層を導入する。
• 物理的照明モデルを用いて劣化をモデル化することで、低照度画像を回復する新しい画像強調ネットワーク、PIE（Physical Image Enhancement）を設計する。
• 空間位置ごとに変化する学習可能な大気光成分A(z)を採用し、リアルな質感と詳細の保持を向上させる。
• PIEで強調された画像を用いてSODモデル（NLD）を訓練することで、より良い特徴学習と顕著性予測が可能になる。
• マルチスケール損失とデータ拡張を活用し、低照度画像における汎化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 不均一な環境光を空間的に変化する変数として明示的にモデル化することで、SODのための低照度画像強調が向上するか？
• RQ2 深層ネットワークに物理的照明モデルを統合することで、低照度状況下でのSOD性能にどのような影響を与えるか？
• RQ3 提案されたNon-Local-Block層が、劣化した画像における非局所的文脈を捉えることで、SODにどの程度向上効果をもたらすか？
• RQ4 提案された画像強調法は、ベースラインを除くさまざまなSODモデルに対しても汎用的に適用可能か？
• RQ5 提案手法は、ベンチマークデータセット上で、既存の低照度強調法およびSOD手法と比較して、どの程度優れているか？

主な発見

• 提案手法PIEは、NTI-V1データセットで最高の性能を達成し、平均絶対誤差（MAE）が0.026、最大Fβが0.745となり、すべてのベースラインを上回った。
• 空間的に変化する大気光A(z)を用いることで、定数A(z)設定と比較してMAEが1.4%改善され、最大Fβが0.4%向上した。
• Non-Local-Block層を含めることで、その有無にかかわらずのモデルと比較して、MAEが2.1%改善され、最大Fβが4.1%向上した。
• PIEで強調された画像は、元の低照度画像よりも顕著オブジェクト検出結果が著しく優れており、'PIE+LPS'手法は'LPS'単体よりも優れており、正解に近づいた。
• 定性的な結果から、PIEは明るさとコントラストを効果的に強調しており、顕著オブジェクトの詳細を保持するとともに、背景ノイズを低減していることが示された。
• アブレーションスタディの結果、空間的に変化するA(z)とNLB層の両方が、低照度状況下で最先端のSOD性能を達成するために不可欠な要素であることが確認された。