[論文レビュー] Multi-adversarial Faster-RCNN for Unrestricted Object Detection

Zhenwei He, Lei Zhang|arXiv (Cornell University)|Jul 24, 2019

Domain Adaptation and Few-Shot Learning参考文献 42被引用数 42

ひとこと要約

本論文は MAF を紹介します。Faster-RCNN をベースとする検出器で、階層的なマルチ敵対的ドメイン特徴整合と、重み付き勾配反転層を用いた統合提案特徴を組み合わせることで、ラベル付きソースドメインとラベルなしターゲットドメイン間で制限なく物体検出を可能にします。

ABSTRACT

Conventional object detection methods essentially suppose that the training and testing data are collected from a restricted target domain with expensive labeling cost. For alleviating the problem of domain dependency and cumbersome labeling, this paper proposes to detect objects in an unrestricted environment by leveraging domain knowledge trained from an auxiliary source domain with sufficient labels. Specifically, we propose a multi-adversarial Faster-RCNN (MAF) framework for unrestricted object detection, which inherently addresses domain disparity minimization for domain adaptation in feature representation. The paper merits are in three-fold: 1) With the idea that object detectors often becomes domain incompatible when image distribution resulted domain disparity appears, we propose a hierarchical domain feature alignment module, in which multiple adversarial domain classifier submodules for layer-wise domain feature confusion are designed; 2) An information invariant scale reduction module (SRM) for hierarchical feature map resizing is proposed for promoting the training efficiency of adversarial domain adaptation; 3) In order to improve the domain adaptability, the aggregated proposal features with detection results are feed into a proposed weighted gradient reversal layer (WGRL) for characterizing hard confused domain samples. We evaluate our MAF on unrestricted tasks, including Cityscapes, KITTI, Sim10k, etc. and the experiments show the state-of-the-art performance over the existing detectors.

研究の動機と目的

• ドメインシフトを解消し、ラベル付きソースドメインで学習し、ラベルなしターゲットドメインで検出を実行できるようにする。
• 複数の畳み込みブロックを介して、ドメイン不変の特徴表現を学習する。
• 階層的特徴マップの情報を損失させずに縮小するスケール低減モジュール（SRM）を導入して学習効率を向上させる。
• 提案特徴を検出出力と境界ボックス座標と結合してドメイン識別を行うことで、提案に対するドメイン混乱を高める。
• Cityscapes、Foggy Cityscapes、KITTI、SIM10K における制限のない物体検出で最先端の性能を示す。）

提案手法

• VGG16 バックボーンを用いた Faster-RCNN をベースに構築する。
• 畳み込みブロック 3、4、5 に配置した複数の対抗的ドメイン分類サブモジュールを用いた階層的なドメイン特徴整合を導入する。
• 情報を失わず feature map をダウンサンプリングするスケール低減モジュールを適用して、学習効率を向上させる。
• 提案特徴を分類スコアと境界ボックス座標と結合してドメイン判別を行う、 Aggregated Proposal Feature Alignment モジュールを追加する。
• Hard-to-confuse サンプルを強調する重み付き勾配反転層を用いて敵対的訓練中のドメイン適応を指向させる。
• ソースドメインでの検出損失と階層的および提案特徴に跨る敵対的ドメイン整合損失を組み合わせた損失で、エンドツーエンドに学習する。

実験結果

リサーチクエスチョン

• RQ1 ソースドメインとターゲットドメイン間のドメイン差を物体検出モデルでどのように最小化できるか。
• RQ2 複数の CNN ブロックにまたがる階層的なドメイン特徴整合は、単一ブロック整合よりクロスドメイン検出を改善するか。
• RQ3 提案特徴と検出出力を統合して重み付き GRL を適用することで、物体検 detector のドメイン混乱を高められるか。
• RQ4 SRM が検出の敵対的なドメイン適応における学習効率と性能に与える影響は。
• RQ5 MAF は Cityscapes、Foggy Cityscapes、KITTI、SIM10K の制限のない物体検出において、従来手法と比べてどのように性能を示すか。

主な発見

• MAF は Cityscapes、Foggy Cityscapes、KITTI、SIM10K のデータセット間での制限のない物体検出において最先端の結果を達成する。
• 複数の CNN ブロックにわたる多対抗的ドメイン分類器の使用は、単一ブロック整合よりもドメイン不変な特徴学習を改善する。
• SRM は特徴マップのスケールを縮小して情報を損なわず、学習を高速化し敵対的学習の効率を高める。
• 提案特徴と検出出力に基づく Aggregated Proposal Features と WGRL は、ターゲット領域のドメイン混乱と mAP をさらに高める。
• MAF は、合成から実データへの移行やクロスシーンなど、いくつかのクロスドメイン設定で既存の DAF 手法を上回る。