[論文レビュー] Multi-Channel CNN-based Object Detection for Enhanced Situation Awareness

Shuo Liu, Zheng Liu|arXiv (Cornell University)|Nov 30, 2017

Advanced Neural Network Applications参考文献 21被引用数 42

ひとこと要約

本論文は、可視光、中赤外線（MWIR）、および動き情報を統合した三チャネル入力により、軍事的標的検出を向上させるマルチチャネルCNNベースの物体検出フレームワークを提案する。SENSIACデータセットを用いた自己教師付き画像統合と転移学習を活用することで、平均適合率98.34%、トップ1正答率98.90%を達成し、単一モodalや意思決定レベルの統合手法を著しく上回る性能を発揮した。

ABSTRACT

Object Detection is critical for automatic military operations. However, the performance of current object detection algorithms is deficient in terms of the requirements in military scenarios. This is mainly because the object presence is hard to detect due to the indistinguishable appearance and dramatic changes of object's size which is determined by the distance to the detection sensors. Recent advances in deep learning have achieved promising results in many challenging tasks. The state-of-the-art in object detection is represented by convolutional neural networks (CNNs), such as the fast R-CNN algorithm. These CNN-based methods improve the detection performance significantly on several public generic object detection datasets. However, their performance on detecting small objects or undistinguishable objects in visible spectrum images is still insufficient. In this study, we propose a novel detection algorithm for military objects by fusing multi-channel CNNs. We combine spatial, temporal and thermal information by generating a three-channel image, and they will be fused as CNN feature maps in an unsupervised manner. The backbone of our object detection framework is from the fast R-CNN algorithm, and we utilize cross-domain transfer learning technique to fine-tune the CNN model on generated multi-channel images. In the experiments, we validated the proposed method with the images from SENSIAC (Military Sensing Information Analysis Centre) database and compared it with the state-of-the-art. The experimental results demonstrated the effectiveness of the proposed method on both accuracy and computational efficiency.

研究の動機と目的

• 外観やスケールが著しく変動する複雑な戦場環境において、小さな低コントラストの軍事的標的を検出する課題に対処すること。
• 限られた学習データと埋め込み型軍事プラットフォームで一般的な計算リソース制約がある状況での物体検出性能を向上させること。
• 可視光、赤外線（MWIR）、および動き（短期的時間的）画像モダリティからの補完的情報を統合することで、状況認識を向上させること。
• 画像統合と最新のCNNベースの物体検出を統合した、自己教師付きでエンドツーエンドで学習可能なフレームワークを構築すること。
• 転移学習とマルチスペクトル統合を活用し、実時間での埋め込みシステムへのデプロイに適した検出精度と計算効率を最適化すること。

提案手法

• 可視光、中赤外線（MWIR）、および動き（短期的時間差分）の3つの入力モダリティを、CNN入力用の単一の三チャネル画像に統合する。
• 可視光とMWIR画像を統合するために、空間的および強度特性を保持する重み付き平均化戦略を用いた自己教師付きピixeレベル画像統合を適用する。
• 物体検出のバックボーンとしてfast R-CNNアーキテクチャを採用し、領域提案ネットワーク（RPN）とROIプーリングを用いてバウンディングボックスを予測する。
• ドメイン間転移学習を採用：大規模な可視光画像データセット（例：ImageNet）で事前学習し、その後、小規模な統合済みSENSIACデータセットで微調整することで、データ不足を緩和する。
• 最終畳み込み層からの特徴マップを可視化し、統合された特徴が物体表現と検出信頼度を向上させることを検証する。
• 性能のトレードオフを評価するため、独立した単一モダリティ検出、二チャネル統合（可視光＋MWIR）、および意思決定レベル統合と本手法を比較する。

実験結果

リサーチクエスチョン

• RQ1 可視光、赤外線（MWIR）、および動き情報の統合は、複雑な軍事的状況における物体検出精度を向上させることができるか？
• RQ2 自己教師付きマルチスペクトル画像統合は、単一モダリティ入力と比較して、CNNベースの物体検出器の性能にどのような影響を与えるか？
• RQ3 大規模な可視光データセットからの転移学習は、小規模で統合済みの軍事的画像データセットにおける検出性能を向上させるか？
• RQ4 本手法は、意思決定レベル統合や単一モダリティ検出と比較して、精度と推論速度の両面で優れているか？
• RQ5 マルチチャネル入力の統合は、小さなまたは低コントラストの軍事的標的に対する特徴表現をどの程度向上させるか？

主な発見

• 提案された三チャネル統合手法は、98.34%の平均適合率と98.90%のトップ1正答率を達成し、テストされたすべての他の手法を上回った。
• 可視光-MWIR二チャネル統合では97.37%のAPを達成し、単一モダリティ検出よりは向上したが、三チャネル統合に比べて劣った。
• 単一可視光画像検出器は97.31%のAPを達成し、強力なベースライン性能を示したが、マルチチャネル統合に劣った。
• 意思決定レベル統合は97.52%のAPを達成したが、1枚あたり3.961秒の処理時間を要し、実時間用途には不適切であった。
• 三チャネル手法では、2,812枚のテストフレーム中で誤検出をたった16件にまで削減し、高い検出信頼性を示した。
• 特徴マップの可視化により、統合入力が特に小さな標的や低コントラスト標的の物体表現を強化していることが確認された。