[論文レビュー] Visual Infrared Video Fusion for Night Vision using Background Estimation

Anjali Malviya, Sunil Bhirud|arXiv (Cornell University)|Apr 26, 2010

Advanced Image Fusion Techniques参考文献 7被引用数 6

ひとこと要約

本論文では、背景推定、ノイズ除去を経た赤外線（IR）動画からの歩行者検出、およびRGB動画との融合を通じて、夜間視認性を向上させる動画統合フレームワークを提案する。この手法は、低照度条件下での人間の姿の可視性を効果的に向上させ、物体レベルの統合により監視応用における明確な向上を示している。

ABSTRACT

Video fusion is a process that combines visual data from different sensors to obtain a single composite video preserving the information of the sources. The availability of a system, enhancing human ability to perceive the observed scenario, is crucial to improve the performance of a surveillance system. The infrared (IR) camera captures thermal image of object in night-time environment, when only limited visual information can be captured by RGB camera. The fusion of data recorded by an IR sensor and a visible RGB camera can produce information otherwise not obtainable by viewing the sensor outputs separately. In this paper we consider the problem of fusing two video streams acquired by an RGB camera and an IR sensor. The pedestrians, distinctly captured by IR video, are separated and fused with the RGB video. The algorithms implemented involve estimation of the background, followed by detection of object from the IR Video, after necessary denoising. Finally a suitable fusion algorithm is employed to combine the extracted pedestrians with the visual output. The obtained results clearly demonstrate the effectiveness of the proposed video fusion scheme, for night vision.

研究の動機と目的

• 可視光と赤外線動画ストリームを統合することで、夜間視認性監視を向上させること。
• RGBカメラが機能しない夜間のシーンにおける低視認性の課題に対処すること。
• 背景推定とノイズ除去を用いて、赤外線動画から歩行者を検出・抽出すること。
• 両センサから重要な情報を保持する統合戦略を開発することにより、明確な合成出力を得ること。

提案手法

• 統計的モデリングを用いて赤外線（IR）動画ストリームの背景を推定し、動く物体を区別する。
• 赤外線動画にノイズ除去技術を適用し、物体検出の精度を向上させる。
• 推定された背景から前景オブジェクトをセグメンテーションすることで、赤外線動画における歩行者を検出する。
• 融合アルゴリズムを用いて、検出された歩行者を可視（RGB）動画ストリームと統合し、低照度条件下での可視性を向上させる。
• 空間的および時間的整合性を確保し、2つの動画ストリーム間の対応する領域を正確に統合する。
• 赤外線データを人間検出に優先し、可視データをテクスチャと文脈に優先する重み付き統合手法を採用する。

実験結果

リサーチクエスチョン

• RQ1 背景推定は、低照度条件下での赤外線動画における歩行者検出をどのように向上させるか？
• RQ2 物体検出精度を向上させるために、赤外線動画をノイズ除去する最適な手法は何か？
• RQ3 可視光と赤外線動画ストリームを効果的に統合し、補完的情報を保持する方法は何か？
• RQ4 夜間監視シナリオにおいて、人間の姿の可視性を最大限に高める統合戦略は何か？
• RQ5 本手法は、実世界の夜間視認性応用において、従来の単一センサまたは単純な統合手法と比較してどのように優れているか？

主な発見

• 提案された背景推定手法は、ノイズが多くコントラストが低い環境下でも、赤外線動画における移動する歩行者を効果的に分離できた。
• ノイズ除去により、赤外線ストリームにおける歩行者検出の精度が著しく向上し、誤検出が減少した。
• 融合アルゴリズムは、赤外線検出結果と可視動画を効果的に統合し、人間の姿の可視性が向上した明確な合成出力を得た。
• 本手法は、リアルタイムの夜間視認性シナリオにおいても頑健な性能を示し、単一センサや基本的な統合技術を上回った。
• 結果として、赤外線検出と可視動画を統合することで、文脈的詳細を保持しつつ、人の熱画像特徴を強調できることが示された。
• 監視効果性に顕著な向上が見られ、特に夜間における人の検出において顕著であった。