[論文レビュー] Aerial Vehicle Tracking by Adaptive Fusion of Hyperspectral Likelihood Maps

Burak Uzkent, Aneesh Rangnekar+1 more|arXiv (Cornell University)|Jul 12, 2017

Video Surveillance and Tracking Methods参考文献 27被引用数 6

ひとこと要約

本稿では、オフライン分類器や大量のハイパーパramータチューニングを必要とせず、複数のスペクトル帯からの尤度マップを自己適応的に融合することで、前景・背景分離を向上させるリアルタイムなハイパースペクトル車両追跡手法（HLT）を提案する。オンラインで生成的ターゲットモデルを学習し、帯のグループ化を最適化することで、最先端の手法と同等の検出性能を達成しながら、1.43 Hzのリアルタイム動作を実現した。

ABSTRACT

Hyperspectral cameras can provide unique spectral signatures for consistently distinguishing materials that can be used to solve surveillance tasks. In this paper, we propose a novel real-time hyperspectral likelihood maps-aided tracking method (HLT) inspired by an adaptive hyperspectral sensor. A moving object tracking system generally consists of registration, object detection, and tracking modules. We focus on the target detection part and remove the necessity to build any offline classifiers and tune a large amount of hyperparameters, instead learning a generative target model in an online manner for hyperspectral channels ranging from visible to infrared wavelengths. The key idea is that, our adaptive fusion method can combine likelihood maps from multiple bands of hyperspectral imagery into one single more distinctive representation increasing the margin between mean value of foreground and background pixels in the fused map. Experimental results show that the HLT not only outperforms all established fusion methods but is on par with the current state-of-the-art hyperspectral target tracking frameworks.

研究の動機と目的

• 低解像度、隠蔽、ごみだらけの環境下でもハイパースペクトル画像を用いて、継続的な空中車両追跡を実現すること。
• ハイパースペクトルターゲット検出において、分類器のオフライン学習の必要性を排除し、ハイパーパramータチューニングを低減すること。
• 可視光から赤外帯にわたり、識別能のあるスペクトル情報を保持する自己適応的融合戦略の開発。
• ハイパースペクトル帯の知的なグループ化により、計算効率を最適化し、リアルタイム処理を実現すること。
• オンラインで生成的ターゲットモデルを学習することで、視差や環境的干渉に対してより耐性のある検出を可能にすること。

提案手法

• 前景・背景の対比に基づく帯別重みを用いて、ハイパースペクトル尤度マップの自己適応的融合により識別能を向上。
• 各スペクトル帯ごとに生成的ターゲットモデルをオンライン学習し、オフライン分類器のトレーニングを回避。
• 隣接するハイパースペクトル帯（例：1グループあたり5帯）を50次元の特徴ベクトルにグループ化し、計算負荷を低減。
• 勾配統計画像を用いて尤度マップを高速に計算し、効率的な検出モジュールの実装を実現。
• 検出純度を最大化するように帯グループ化戦略を最適化し、60帯の場合に12グループ（1グループ5帯）が最適であると判明。
• 検出モジュールを1.43 Hzで動作するトラッカー枠組みに統合し、以前のHFTトラッカーの性能と同等の動作を達成。

実験結果

リサーチクエスチョン

• RQ1 オフライン分類器を必要とせず、自己適応的融合によるハイパースペクトル尤度マップの統合は、空中追跡におけるターゲット検出を改善できるか？
• RQ2 固定重み融合と比較して、スペクトル帯の自己適応的重み付けは、検出精度と耐性において優れているか？
• RQ3 リアルタイム性能と検出純度を両立するには、ハイパースペクトル帯グループの最適な数とサイズは何か？
• RQ4 オンラインで生成的モデリングされたターゲットシグネイチャは、動的空中追跡環境において、従来のオフライン学習を上回る性能を発揮できるか？
• RQ5 提案手法は、道路マップや事前学習モデルなどの外部データソースへの依存度をどの程度低減できるか？

主な発見

• 提案されたHLTトラッカーは、12の帯グループを用いた場合、トラック純度64.37%、ターゲット純度57.49%を達成し、全テストグループ化戦略を上回った性能を示した。
• 12グループ（1グループ5帯）が最良の検出性能を示したが、20グループ（1グループ3帯）や6グループ（1グループ10帯）は、識別能の低い特徴表現のため、劣る結果となった。
• 1フレームあたり0.37秒で検出モジュールが動作し、そのうち0.35秒が検出処理に割り当てられており、HFTトラッカーと同等の1.43 Hzの動作レートを達成した。
• 自己適応的融合手法は、古典的な等重み融合よりも優れたコントラストを持つ尤度マップを生成し、複雑なシーンにおけるターゲット局所化を向上させた。
• 次元削減による情報損失を避けるために、重要なスペクトル情報（例：実際の駐車場データにおける青帯の高い識別能）を保持した。
• スペクトル空間における前景・背景分離により、視差や環境的干渉に対しても耐性があり、道路マップや事前学習モデルなどの外部データソースに依存しない。