[論文レビュー] Challenges in video based object detection in maritime scenario using computer vision

Dilip K. Prasad, Chandrashekar Krishna Prasath+4 more|arXiv (Cornell University)|Aug 3, 2016

Color Science and Applications参考文献 9被引用数 38

ひとこと要約

本稿は、変動する天候や照明条件下における航海環境における動画ベースの物体検出に関する、ホライズン検出、動的背景モデリング、およびフォアグラウンド物体検出という主要な課題を特定し、分析している。3つの実世界のデータセットを用いて最先端手法を評価した結果、運動、動的背景、複雑な照度効果の影響により、既存のアルゴリズムが航海環境において一般化できないことが示された。

ABSTRACT

This paper discusses the technical challenges in maritime image processing and machine vision problems for video streams generated by cameras. Even well documented problems of horizon detection and registration of frames in a video are very challenging in maritime scenarios. More advanced problems of background subtraction and object detection in video streams are very challenging. Challenges arising from the dynamic nature of the background, unavailability of static cues, presence of small objects at distant backgrounds, illumination effects, all contribute to the challenges as discussed here.

研究の動機と目的

• 航海環境に特有の動画ベースの物体検出における技術的課題を特定し、体系的に分析すること。
• 実航海動画データセットを用いて、ホライズン検出、背景差分法、フォアグラウンド物体検出の最先端アルゴリズムの性能を評価すること。
• 航海シナリオにおける動的背景、小さな遠く離れた物体、変動する天候および照度条件に対処するための現在のコンピュータビジョン技術の限界を強調すること。
• 既存の背景モデリングおよび物体検出手法が、航海動画ストリームにおいて高い誤検出率（フォールス・ポジティブ）および誤検出率（フォールス・ネガティブ）を示すことを実証すること。
• 航海動画処理の動的で変動的かつ複雑な性質に適合した、新たな柔軟性を持つアルゴリズムの開発を呼びかけること。

提案手法

• ボイス搭載カメラ（動的プラットフォーム）、陸上固定プラットフォーム、船内搭載キャプチャの3つの実世界の動画データセットを用い、それぞれ異なる航海状況を反映している。
• 全データセットにおいて検出精度を評価するため、ホライズン位置（Yおよびα）および物体数の手動によるグランドトゥルースアノテーションを実施した。
• パラメトリックな直線検出（ホフ変換）および統計的色分布分離を用いて、2つの最先端ホライズン検出手法（FGSLおよびENIW）を評価した。
• シンガポール・マリン・データセット上で2014年変化検出コンテストに参加した34の変化検出アルゴリズムを評価し、背景差分法の性能を検証した。
• 局所バイナリ類似度パターンを用いた背景表現を用いて、3つの背景モデリング技術（ガウス混合モデル（GMM）、PFinderのガウス強度モデル、およびSuBSENSE）をテストした。
• ホライズン検出の誤差指標（25百分位数、中央値、標準偏差）の定量的分析を行い、背景差分法および物体検出における誤検出率・誤検出率の評価を実施した。

実験結果

リサーチクエスチョン

• RQ1 動的プラットフォームの運動および変動するカメラの向きが、航海動画ストリームにおけるホライズン検出の正確性にどのように影響するか？
• RQ2 波、泡、動く波尾などの多様な航海状況において、最先端の背景差分アルゴリズムはどの程度一般化できるか？
• RQ3 なぜ既存のフォアグラウンド物体検出手法は、ブイや anchor された船などの静止した航海物体を動画シーケンスで検出できないのか？
• RQ4 明るい日差し、曇り、霧などの変動する天候および照度条件が、背景およびフォアグラウンドピクセルの統計的分布にどのように影響するか？
• RQ5 実航海動画処理に応用された現在のコンピュータビジョンパイプラインにおける主な性能ボトルネックは何か？

主な発見

• ホライズン検出には高いばらつきが見られる：船内でのY位置の標準偏差は145.10ピクセル、ブイ搭載では107.98ピクセルに達し、プラットフォームの運動による著しい不安定性が示された。
• ENIWおよびFGSL手法は、それぞれ船内でのY推定において117.81ピクセルおよび118.14ピクセルの中央値誤差を示し、動的条件下でも高い脆弱性が確認された。
• GMM、PFinder、SuBSENSEなどの背景差分法は、水中領域で高い誤検出率を示し、泡や波のような動的背景特徴を抑制できなかった。
• 複雑な背景を想定して設計されたSuBSENSEアルゴリズムですら、変動する照度条件下で顕著な誤検出を引き起こしており、特に航海シーンでは顕著であった。
• 既存のアルゴリズムでは、移動物体と静止物体の両方を同時に検出することはできず、現在の手法に顕著なギャップが存在することが示された。
• 非一様な照度（例：光の反射やスペックル効果）の下では、背景モデリングおよび物体検出手法の性能が著しく低下し、ピクセル統計が変化するためである。