[論文レビュー] DA-DETR: Domain Adaptive Detection Transformer with Information Fusion

Jingyi Zhang, Jiaxing Huang+4 more|arXiv (Cornell University)|Mar 31, 2021

Advanced Neural Network Applications被引用数 5

ひとこと要約

DA-DETRは、CNNとTransformer特徴を新規のCNN-Transformerブレンドャー（CTBlender）を用いて融合することで、クロスドメイン特徴整合性と知識移転を向上させるドメイン適応型オブジェクト検出Transformerを提案する。スプリットマージ融合とスケール集約融合を統合することで、DA-DETRはCityscapes→Foggy Cityscapesで43.5のmAPを達成し、自己教師付きドメイン適応ベンチマークにおいて既存手法を上回る最先端性能を実現した。

ABSTRACT

The recent detection transformer (DETR) simplifies the object detection pipeline by removing hand-crafted designs and hyperparameters as employed in conventional two-stage object detectors. However, how to leverage the simple yet effective DETR architecture in domain adaptive object detection is largely neglected. Inspired by the unique DETR attention mechanisms, we design DA-DETR, a domain adaptive object detection transformer that introduces information fusion for effective transfer from a labeled source domain to an unlabeled target domain. DA-DETR introduces a novel CNN-Transformer Blender (CTBlender) that fuses the CNN features and Transformer features ingeniously for effective feature alignment and knowledge transfer across domains. Specifically, CTBlender employs the Transformer features to modulate the CNN features across multiple scales where the high-level semantic information and the low-level spatial information are fused for accurate object identification and localization. Extensive experiments show that DA-DETR achieves superior detection performance consistently across multiple widely adopted domain adaptation benchmarks.

研究の動機と目的

• 検出Transformerの簡素化されたアーキテクチャにもかかわらず、ドメイン適応の有効な手法が不足しているという点に取り組む。
• 補完的であるCNN（局所化）とTransformer（意味的）特徴を融合することで、自己教師付きドメイン適応を向上させる。
• 追加の識別器を必要としない、統一された特徴融合メカニズムを設計し、クロスドメイン特徴整合性を強化する。
• Cityscapes→Foggy Cityscapes、KITTI→Cityscapes、PASCAL VOC→Clipart1kといった多様なドメインシフトシナリオにわたる一般化を示す。

提案手法

• 複数スケールにわたるCNNとTransformer特徴を統合するためのCNN-Transformerブレンドャー（CTBlender）を導入する。
• スプリットマージ融合（SMF）を採用し、CNN特徴をKグループに分割し、それぞれを対応するTransformer特徴でモジュレートすることで、チャネル単位および空間単位での情報交換を可能にする。
• スケール集約融合（SAF）を適用し、異なる特徴スケールにおけるSMF出力を統合することで、マルチレベルの意味的および空間的情報を抽出する。
• 融合された特徴を、エンドツーエンド自己教師付きドメイン適応用の単一ドメイン識別器の入力として使用する。
• DETRにおける自己注意メカニズムを活用し、CNN特徴を条件付きでモジュレートすることで、ドメイン間での特徴整合性を向上させる。
• 交差エントロピー損失と adversarial 損失を用いて、検出とドメイン整合性を同時に最適化する統一されたトレーニングパイプラインを採用する。

Figure 1 : The vanilla Deformable-DETR [ 81 ] trained with labeled source data cannot handle target data well due to cross-domain shift. The introduction of adversarial feature alignment in Deformable-DETR + Direct-align [ 19 ] improves the detection clearly. The proposed DA-DETR fuses CNN features

実験結果

リサーチクエスチョン

• RQ1 CNNとTransformerコンponent間の特徴融合は、検出Transformerにおけるドメイン適応を改善できるか？
• RQ2 スプリットマージ融合は、従来の融合手法（加算、乗算、畳み込みなど）と比較して、クロスドメイン整合性にどのように寄与するか？
• RQ3 複数スケールにわたる特徴融合は、スケール分散が大きいドメインシフトに対して、より強力な耐性をもたらすか？
• RQ4 別個の整合性ヘッドを必要としない単一ドメイン識別器が、融合特徴をドメイン間で効果的に統合できるか？
• RQ5 提案されたCTBlenderは、標準的なCityscapes→Foggy Cityscapes設定にとどまらず、多様なドメイン適応ベンチマークに一般化できるか？

主な発見

• DA-DETRはCityscapes→Foggy CityscapesベンチマークでmAP 43.5を達成し、以前の最先端手法（LS-DeconvNet）を0.9ポイント上回った。
• CTBlenderにおけるスプリットマージ融合により、明確な意味的グループ化が実現され、32のグループそれぞれで異なる前景領域に対して特徴的な注意パターンが可視化された。
• CTBlenderによるCNNおよびTransformer特徴の融合は、CNN特徴のみを使用する場合に比べ4.7ポイント、Transformer特徴のみの場合に比べ4.2ポイントのmAP向上を達成した。
• CTBlenderにおけるスケール集約融合は、KITTI→Cityscapes や PASCAL VOC→Comic2k といった大規模なスケールドメインシフトに対しても性能向上をもたらした。
• PASCAL VOC→Watercolor2k および PASCAL VOC→Comic2k では、すべての最先端手法を上回り、多様なドメインシフトにわたる強力な一般化性能を示した。
• アブレーションスタディの結果、CTBlenderのスプリットマージおよびスケール集約コンponentsが不可欠であることが確認され、それらを削除すると顕著な性能低下が生じた。

Figure 2 : Overview of the proposed DA-DETR: the proposed DA-DETR consists of a base detector (including a backbone $G$ and a transformer encoder-decoder), a discriminator and a CNN-Transformer Blender (CTBlender). Given an input image from either source or target domain, the backbone $G$ first prod