[論文レビュー] Thermal Object Detection using Domain Adaptation through Style Consistency.

Farzeen Munir, Shoaib Azam+3 more|arXiv (Cornell University)|Jun 1, 2020

Adversarial Robustness in Machine Learning参考文献 16被引用数 12

ひとこと要約

本稿では、GANベースのフレームワークを用いて可視スペクトルから赤外スペクトルへの低レベル特徴の転送を実現するスタイル整合性を用いたドメイン適応手法を提案する。スタイル統計の整合性を保ち、クロスドメインモデルを微調整することで、FLIR ADASおよびKAISTマルチスペクトルデータセットにおいて平均平均精度（mAP）を約10%向上させる。

ABSTRACT

A recent fatal accident of an autonomous vehicle opens a debate about the use of infrared technology in the sensor suite for autonomous driving to increase visibility for robust object detection. Thermal imaging has an advantage over lidar, radar, and camera because it can detect the heat difference emitted by objects in the infrared spectrum. In contrast, lidar and camera capture in the visible spectrum, and adverse weather conditions can impact their accuracy. The limitations of object detection in images from conventional imaging sensors can be catered to by thermal images. This paper presents a domain adaptation method for object detection in thermal images. We explore multiple ideas of domain adaption. First, a generative adversarial network is used to transfer the low-level features from the visible spectrum to the infrared spectrum domain through style consistency. Second, a cross-domain model with style consistency is used for object detection in the infrared spectrum by transferring the trained visible spectrum model. The proposed strategies are evaluated on publicly available thermal image datasets (FLIR ADAS and KAIST Multi-Spectral). We find that adapting the low-level features from the source domain to the target domain through domain adaptation increases in mean average precision by approximately 10%.

研究の動機と目的

• 可視光と赤外光スペクトル間のドメインシフトが原因で生じる赤外物体検出の性能制限を克服すること。
• 悪天候下でも良好に機能する従来のセンサ（例：カメラ、ライダー）の限界を補い、環境条件に強く、赤外画像の優位性を活用すること。
• ドメイン適応を用いて事前学習済みの可視スペクトルモデルを赤外画像に適応させることで、赤外画像における物体検出精度を向上させること。
• スタイル整合性を用いて可視スペクトルから赤外スペクトルへの低レベル特徴の効果的かつ効率的な転送を実現し、ドメイン差を低減すること。

提案手法

• スタイル整合性を強制することで、可視スペクトルから赤外スペクトルへの低レベル特徴の転送を実現する生成的対抗ネットワーク（GAN）を採用する。
• ソース（可視）ドメインとターゲット（赤外）ドメイン間の特徴活性化統計を一致させるために、スタイル整合性損失を用いる。
• 事前学習済みの可視スペクトルモデルから適応された特徴を活用するクロスドメイン物体検出モデルを訓練する。
• 特徴抽出器をドメイン適応により更新しながら、赤外ドメインで検出ヘッドを微調整する。
• 生成された赤外スタイル特徴が本物の赤外特徴と区別できないようにするため、識別器を活用する。
• FLIR ADASおよびKAISTマルチスペクトルデータセットをベンチマークとして用い、熱画像における物体検出に適応されたモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 スタイル整合性によるドメイン適応は、可視画像ドメインと赤外画像ドメイン間のドメインギャップを効果的に低減できるか？
• RQ2 スタイル整合性による低レベル特徴の転送は、赤外画像における物体検出性能をどの程度向上させるか？
• RQ3 本手法は、赤外データに直接学習させたベースライン物体検出モデルと比較して、平均平均精度（mAP）の観点でどの程度優れているか？
• RQ4 GANベースのスタイル転送メカニズムは、リソースが限られた赤外検出シナリオにおいて、特徴転送品質と検出精度を向上させるか？

主な発見

• 提案手法は、ベースラインモデルと比較して、FLIR ADASデータセットにおいて平均平均精度（mAP）を約10%向上させる。
• KAISTマルチスペクトルデータセットの結果は、本手法が多様な赤外画像環境においても顕著なmAP向上を実現することを確認しており、手法の頑健性を裏付けている。
• 特徴転送におけるスタイル整合性は、ドメインシフトを効果的に低減し、可視スペクトルモデルの赤外ドメインへの一般化性能を向上させている。
• GANベースの適応フレームワークは、低レベル特徴を効果的に転送するとともに、赤外画像における検出に必要な意味的パターンを保持している。
• 適応された特徴を活用することで、両ベンチマークデータセットで最先端の性能を達成したクロスドメイン検出モデルが実現された。
• 本手法は、ソースモデルが異なるドメイン（可視スペクトル）で事前学習されている場合でも、強力な転送性を示している。