[論文レビュー] Image Enhancement and Object Recognition for Night Vision Surveillance

Aashish Bhandari, Aayush Kafle+3 more|arXiv (Cornell University)|Jun 10, 2020

Image Enhancement Techniques参考文献 9被引用数 5

ひとこと要約

本論文は、対照度に基づく空間ドメイン技術—特にCLAHE—を用いて赤外線（IR）画像を強調処理した後、畳み込みニューラルネットワーク（CNN）で物体を分類する、夜間監視システムを提案する。この手法により画像のコントラストと情報量が向上し、分類精度が著しく85%に向上し、他の強調技術を上回り、CLAHEが低照度物体認識における前処理としての有効性を示している。

ABSTRACT

Object recognition is a critical part of any surveillance system. It is the matter of utmost concern to identify intruders and foreign objects in the area where surveillance is done. The performance of surveillance system using the traditional camera in daylight is vastly superior as compared to night. The main problem for surveillance during the night is the objects captured by traditional cameras have low contrast against the background because of the absence of ambient light in the visible spectrum. Due to that reason, the image is taken in low light condition using an Infrared Camera and the image is enhanced to obtain an image with higher contrast using different enhancing algorithms based on the spatial domain. The enhanced image is then sent to the classification process. The classification is done by using convolutional neural network followed by a fully connected layer of neurons. The accuracy of classification after implementing different enhancement algorithms is compared in this paper.

研究の動機と目的

• 低照度および夜間監視における物体認識が困難となる要因（コントラスト不足およびモノクロアのIR画像）に対処すること。
• ヒストグラム等倣（HE）、自己適応的ヒストグラム等倣（AHE）、および対照制限付きAHE（CLAHE）などのさまざまな画像強調技術が、その後続の物体分類精度に与える影響を評価・比較すること。
• 限られたハードウェア（4GB RAM、GPUなし）の標準的なラップトップ上で、トランスファー学習を用いたCNNベースの分類モデルを実装すること。
• MSE、PSNR、エントロピーなどの指標を用いて、強調処理の品質を定量的に評価し、画像品質の向上を客観的に評価すること。
• 前処理としてCLAHEを用いることで、夜間監視応用における分類精度が顕著に向上することを実証すること。

提案手法

• ピンホールカメラモデルとDLTアルゴリズムを用いて、新しい反復的キャリブレーション法で赤外Piカメラをキャリブレーションし、レンズ歪みを補正した。
• 空間ドメインの画像強調技術を適用：グローバルヒストグラム等倣（HE）、自己適応的ヒストグラム等倣（AHE）、および対照制限付きAHE（CLAHE）。
• カメラの内部パラメータおよび外部パラメータを用いて、3次元世界座標を2次元画像座標にマッピングする式 $ \mu x = K[R|t]X $ を用いて画像を補正した。
• MSE、PSNR、エントロピーを用いて強調処理の品質を定量評価し、PSNR-VARを導入して画素分散およびコントラストストレッチングの評価を実施した。
• TensorFlowを用いてトランスファー学習を用いたCNN分類器を訓練し、分類予測にソフトマックス活性化関数を用いた全結合層を採用した。
• 同じデータセットおよびモデルアーキテクチャを用いて、強調なし、HE、AHE、CLAHEの4条件における分類精度を比較した。

実験結果

リサーチクエスチョン

• RQ1 CLAHEを用いた画像強調処理が、低照度赤外監視における物体認識精度を顕著に向上させるか？
• RQ2 HE、AHE、CLAHEといった異なる強調技術が、MSE、PSNR、エントロピーの観点から夜間監視画像においてどのように比較されるか？
• RQ3 トランスファー学習を用いたCNNが、低リソース環境（4GB RAM、GPUなし）において強調処理済みIR画像に適用された場合、高い分類精度を達成できるか？
• RQ4 非均一な照度下において、画像強調処理が視覚的および統計的品質の向上または維持をどの程度達成するか？
• RQ5 画像強調指標（例：PSNR、エントロピー）と後続の分類性能の間に測定可能な相関関係があるか？

主な発見

• CLAHEは最小のMSE（264）と最大のPSNR（23.9154 dB）を達成し、HEおよびAHEと比較して優れた画像品質向上を示した。
• CLAHEは最高のPSNR-VAR（25.0872 dB）を達成し、元の明るい画像のPSNR-VAR（20.47 dB）に非常に近づき、効果的なコントラストストレッチングを示した。
• CLAHE強調画像を用いることで、分類精度が強調なしの58%から85%に上昇し、27%の改善が確認された。
• AHEおよびHEも精度をそれぞれ74%および71%に向上させたが、CLAHEは顕著に優れており、非均一な照度下でも強靭性を示した。
• エントロピーは強調処理により上昇したが、CLAHEは情報量の増加と視覚的品質の両立を図るバランスの取れた妥当なトレードオフを達成し、ノイズの過剰増幅を回避した。
• 本研究では、CLAHEが夜間監視システムにおけるCNNベースの物体分類の前処理として最も効果的であることが確認された。