[論文レビュー] Weakly Aligned Cross-Modal Learning for Multispectral Pedestrian Detection

Lu Zhang, Xiangyu Zhu+4 more|arXiv (Cornell University)|Jan 9, 2019

Video Surveillance and Tracking Methods参考文献 67被引用数 25

ひとこと要約

本論文は、位置ずれによるカラーティンシャル画像ペアの弱い整合性という重要な課題に取り組む、マルチスペクトル歩行者検出のための新規エンドツーエンドフレームワークAR-CNNを提案する。空間的ずれを予測・補正するためのリージョン特徴整合化（RFA）モジュール、信頼度を考慮した特徴再重み付けのための融合手法、およびロバスト性を向上させるためのRoIジッタ戦略を導入し、KAISTおよびCVC-14で最先端の性能を達成し、ずれの変動に対して著しく感受性が低いことを示した。

ABSTRACT

Multispectral pedestrian detection has shown great advantages under poor illumination conditions, since the thermal modality provides complementary information for the color image. However, real multispectral data suffers from the position shift problem, i.e. the color-thermal image pairs are not strictly aligned, making one object has different positions in different modalities. In deep learning based methods, this problem makes it difficult to fuse the feature maps from both modalities and puzzles the CNN training. In this paper, we propose a novel Aligned Region CNN (AR-CNN) to handle the weakly aligned multispectral data in an end-to-end way. Firstly, we design a Region Feature Alignment (RFA) module to capture the position shift and adaptively align the region features of the two modalities. Secondly, we present a new multimodal fusion method, which performs feature re-weighting to select more reliable features and suppress the useless ones. Besides, we propose a novel RoI jitter strategy to improve the robustness to unexpected shift patterns of different devices and system settings. Finally, since our method depends on a new kind of labelling: bounding boxes that match each modality, we manually relabel the KAIST dataset by locating bounding boxes in both modalities and building their relationships, providing a new KAIST-Paired Annotation. Extensive experimental validations on existing datasets are performed, demonstrating the effectiveness and robustness of the proposed method. Code and data are available at https://github.com/luzhang16/AR-CNN.

研究の動機と目的

• カラーモードとサーモグラフィモードの画像が幾何的に整合しない現実世界のマルチスペクトル歩行者検出における位置ずれ問題に対処すること。
• 既存のデータセットが偏ったまたは単一モダリティのアノテーションを用いているため、CNNベースの検出器の性能が低下するという制限を克服すること。
• 正確なキャリブレーションを必要とせず、ずれのあるモダリティ間の特徴を効果的に統合できるエンドツーエンドのディープラーニングフレームワークを開発すること。
• データ拡張と適応的特徴学習を通じて、異なるセンサーやシステム設定における予測不能なずれパターンに対してもロバスト性を向上させること。
• 今後の研究を支援するため、各モダリティに独立したバウンディングボックスを備えたKAISTデータセット用の新しい高品質ペアアノテーションを提供すること。

提案手法

• カラーモードとサーモグラフィモードの特徴マップ間の空間的ずれを、学習可能なオフセット予測ヘッドを用いて予測・補正するリージョン特徴整合化（RFA）モジュールを提案する。
• 各モダリティの特徴の信頼度に基づいて、自動的に再重み付けを行う信頼度を考慮した融合メカニズムを導入し、特徴表現の質を向上させる。
• 訓練中にRoIをランダムに摺りずらせるRoIジッタ訓練戦略を採用し、多様なずれパターンをシミュレートし、現実世界のずれに向けた一般化性能を向上させる。
• カラーモードとサーモグラフィモードの特徴をそれぞれ抽出する二重ストリームバックボーンネットワーク（ResNet-50）を設計し、その後にRFAおよび統合モジュールを配置して共同検出を実現する。
• 分類、ボックス回帰、およびRFAオフセット予測を統合したマルチタスク損失関数を用い、モデルをエンドツーエンドで学習する。
• 20,025フレームにわたる59,812人の歩行者を手動でアノテートし、各モダリティに独立したバウンディングボックスとそれらの対応関係を備えた新しいKAIST-Pairedアノテーションを構築する。

実験結果

リサーチクエスチョン

• RQ1 位置ずれが生じる弱い整合性を持つマルチスペクトル画像から、ディープラーニングモデルがどのように効果的に特徴を統合できるか？
• RQ2 学習可能なアライメントモジュールは、マルチスペクトル歩行者検出における位置ずれによって引き起こされる性能低下をどの程度軽減できるか？
• RQ3 RoIジッタ戦略は、異なるハードウェアやシステム設定における予測不能なずれパターンに対し、モデルのロバスト性を向上させられるか？
• RQ4 信頼度を考慮した特徴統合は、単純な連結や要素ごとの演算と比較して、検出精度をどの程度向上させるか？
• RQ5 高品質なペアアノテーション（KAIST-Paired）は、マルチスペクトル歩行者検出器の学習と評価にどのような影響を与えるか？

主な発見

• 提案されたAR-CNNはKAISTデータセットで最先端の性能を達成し、元点における平均ランク10誤差（MR T）を9.87まで低下させ、従来手法を上回った。
• RFAモジュールは位置ずれ下での性能ばらつきを顕著に低減し、45°ずれパターン下でMR Tの標準偏差を9.77から1.24まで8.53ポイント減少させた。
• RoIジッタ戦略はロバスト性を向上させ、平均性能の向上よりも性能ばらつきの低減に寄与しており、一般化性能の向上を示している。
• 信頼度を考慮した融合手法は、ベースラインと比較して元点におけるMR Tを1.61ポイント低下させ、信頼できる特徴の選択の有効性を実証した。
• 59,812人の手動アノテート歩行者を含む20,025フレームにわたる新しいKAIST-Pairedアノテーションは、今後の弱い整合性を持つマルチスペクトル検出研究のための高品質なベンチマークを提供する。
• 広範なアブレーションスタディにより、RFA、RoIジッタ、信頼度を考慮した融合の各コンponentsが相乗的に作用し、精度とロバスト性の向上に寄与していることが確認された。