[論文レビュー] Domain Adaptation from Synthesis to Reality in Single-model Detector for Video Smoke Detection

Xu Gao, Yongming Zhang+3 more|arXiv (Cornell University)|Sep 24, 2017

Fire Detection and Safety Systems参考文献 27被引用数 9

ひとこと要約

本稿では、合成煙データと実際の煙データの間のドメインギャップを埋めるエンドツーエンドのドメイン適応手法を、単一モデル型ビデオ煙検出器に対して提案する。SSDおよびMS-CNNの検出ヘッドに直接敵対的適応を統合することで、ベースライン検出器に比べ優れた性能を達成し、ドメインシフトの影響を軽減する観点で、差分に基づく手法よりも敵対的適応が優れていることが示された。

ABSTRACT

This paper proposes a method for video smoke detection using synthetic smoke samples. The virtual data can automatically offer precise and rich annotated samples. However, the learning of smoke representations will be hurt by the appearance gap between real and synthetic smoke samples. The existed researches mainly work on the adaptation to samples extracted from original annotated samples. These methods take the object detection and domain adaptation as two independent parts. To train a strong detector with rich synthetic samples, we construct the adaptation to the detection layer of state-of-the-art single-model detectors (SSD and MS-CNN). The training procedure is an end-to-end stage. The classification, location and adaptation are combined in the learning. The performance of the proposed model surpasses the original baseline in our experiments. Meanwhile, our results show that the detectors based on the adversarial adaptation are superior to the detectors based on the discrepancy adaptation. Code will be made publicly available on http://smoke.ustc.edu.cn. Moreover, the domain adaptation for two-stage detector is described in Appendix A.

研究の動機と目的

• 合成煙ビデオデータと実際の煙ビデオデータの間のドメインシフトを解消すること。
• 合成データで学習された単一モデル検出器（SSDおよびMS-CNN）の実世界への一般化性能を向上させること。
• ドメイン適応を検出ヘッドに直接統合し、エンドツーエンド学習を可能にすること。
• この検出設定において、敵対的適応と差分に基づく適応の有効性を比較すること。
• 適切なドメイン適応が適用された場合、合成データが実世界の煙検出に効果的に活用可能であることを示すこと。

提案手法

• 本手法は、最先端の1段階検出器（SSDおよびMS-CNN）の検出ヘッドにドメイン適応を統合し、分類、局所化、適応をエンドツーエンドで同時に最適化する。
• 敵対的適応は、ドメイン識別器を用いて検出層で実行され、ドメイン固有の特徴を最小化しながら検出に必要な表現を保持する。
• 適応損失は、学習中に分類損失および局所化損失と同時に最適化され、モデルがドメイン不変特徴を学習できるようにする。
• 本手法は実煙ビデオデータセット上で評価され、合成データを事前学習に、ドメイン適応をファインチューニングに用いる。
• 本手法は、2段階検出器に対しても拡張可能であり、付録Aで詳細に記載されている。
• 再現性およびさらなる研究を支援するため、コードが公開されている。

実験結果

リサーチクエスチョン

• RQ1 検出ヘッドでの敵対的ドメイン適応は、合成煙データで学習された単一モデル検出器の実世界ビデオデータへの一般化性能を向上させることができるか？
• RQ2 検出とドメイン適応のエンドツーエンドでの共同最適化は、検出と適応を別々に学習するのと比べてどのように優れているか？
• RQ3 ビデオ煙検出において、敵対的適応は差分に基づく適応を上回ってドメインシフトを軽減できるか？
• RQ4 効果的なドメイン適応が適用された場合、合成煙データは実世界の検出性能をどの程度向上させることができるか？
• RQ5 提案手法は2段階検出器へどのようにスケーリング可能であり、その性能的影響は何か？

主な発見

• ドメイン適応なしで合成データで学習した場合、提案手法は元のベースライン検出器を顕著に上回る性能を示した。
• 敵対的適応を用いた検出器は、差分に基づく適応を用いた検出器に比べ、実煙ビデオデータにおいて高い平均平均精度（mAP）を達成した。
• 分類、局所化、ドメイン適応の3つを共同で最適化するエンドツーエンド学習により、特徴の整合性と検出性能が向上した。
• モデルは実世界の煙ビデオシーケンスへの一般化性能を強く示し、合成データから実データへのドメインギャップを埋めるドメイン適応の有効性を裏付けた。
• アブレーションスタディにより、特徴抽出の初期段階での適応よりも、検出層での適応がより効果的であることが確認された。
• 本手法は、1段階検出器（SSD、MS-CNN）および2段階検出器の両方で有効であり、両アーキテクチャで性能向上が観察された。