[論文レビュー] DA-DETR: Domain Adaptive Detection Transformer by Hybrid Attention

Jingyi Zhang, Jiaxing Huang+3 more|arXiv (Cornell University)|Mar 31, 2021

Domain Adaptation and Few-Shot Learning参考文献 53被引用数 27

ひとこと要約

DA-DETRは、1段階のドメイン適応型オブジェクト検出Transformerであり、1つの識別器とハイブリッドアテンションモジュールを用いて、ドメイン間で対応が難しい特徴量の明示的整合を可能にすることで、ドメイン適応を簡素化する。その単純さにもかかわらず、複雑なマルチフレームワーク敵対的訓練ルーチンを排除することで、最先端の精度を達成する。

ABSTRACT

The prevalent approach in domain adaptive object detection adopts a two-stage architecture (Faster R-CNN) that involves a number of hyper-parameters and hand-crafted designs such as anchors, region pooling, non-maximum suppression, etc. Such architecture makes it very complicated while adopting certain existing domain adaptation methods with different ways of feature alignment. In this work, we adopt a one-stage detector and design DA-DETR, a simple yet effective domain adaptive object detection network that performs inter-domain alignment with a single discriminator. DA-DETR introduces a hybrid attention module that explicitly pinpoints the hard-aligned features for simple yet effective alignment across domains. It greatly simplifies traditional domain adaptation pipelines by eliminating sophisticated routines that involve multiple adversarial learning frameworks with different types of features. Despite its simplicity, extensive experiments show that DA-DETR demonstrates superior accuracy as compared with highly-optimized state-of-the-art approaches.

研究の動機と目的

• 複数の敵対的フレームワークと手作業で設計されたコンponentsに依存する複雑なドメイン適応パイプラインを簡素化すること。
• Faster R-CNNのような2段階検出器を、ドメイン適応とより良好に統合可能な単純な1段階アーキテクチャに置き換えること。
• 対応が難しい特徴量に焦点を当てた、新しいハイブリッドアテンション機構を用いて、効果的なドメイン間特徴量整合を実現すること。
• アンカーや領域プーリング、非最大抑制のようなハイパーパramータ依存性が強く、工学的作業が煩雑なコンponentsへの依存を減らすこと。
• 洗練された1識別子訓練スキームを用いて、ドメイン適応型オブジェクト検出で最先端の精度を達成すること。

提案手法

• アンカー、領域提案ネットワーク、非最大抑制に依存しない1段階のTransformerベースの検出器（DETR）を採用することで、それらの依存を排除する。
• ソースドメインとターゲットドメイン間で対応が難しい特徴量を明示的に特定・整合するハイブリッドアテンションモジュールを導入する。
• マルチフレームワーク敵対的訓練を置き換えるために、1つのドメイン識別器を用いてドメイン間特徴量整合を実現する。
• 検出プロセス中にドメイン不変特徴量を統合するために、Transformerデコーダ内のクロスアテンションメカニズムを活用する。
• 1つの識別器を通じて検出損失と敵対的ドメイン整合損失を統合した統一された訓練目的を用いる。
• アーキテクチャの複雑さを増すことなく、Transformerデコーダでの特徴量レベルの整合を適用することでドメイン一般化を強化する。

実験結果

リサーチクエスチョン

• RQ1 1段階のTransformerベースの検出器は、適応パイプラインを簡素化しつつ、2段階検出器を上回る性能を発揮できるか？
• RQ2 ハイブリッドアテンションを用いた1つの識別器は、マルチフレームワーク敵対的手法と比較して、対応が難しい特徴量の整合にどの程度効果的か？
• RQ3 アンカーとNMSのような手作業で設計されたコンponentsを排除することで、ドメイン適応性能はどの程度向上するか？
• RQ4 ハイブリッドアテンションモジュールは、ドメインをまたいだ状況での特徴量整合品質と検出精度を向上させるか？
• RQ5 より単純で統一された訓練フレームワークは、性能を犠牲にすることなく最先端の結果を達成できるか？

主な発見

• DA-DETRは、ドメイン適応型オブジェクト検出において、高度に最適化された最先端のアプローチと比較して優れた検出精度を達成する。
• 複雑なマルチフレームワーク敵対的訓練を1つの識別器に置き換えることで、ドメイン適応パイプラインが著しく簡素化される。
• ハイブリッドアテンションモジュールは、対応が難しい特徴量を効果的に特定・整合し、ドメイン間の特徴量一貫性を向上させる。
• 1段階のTransformerアーキテクチャにより、アンカーとNMSのようなハイパーパramータ依存性が強く、工学的作業が煩雑なコンponentsへの依存が軽減される。
• 広範なアーキテクチャの変更を加えずに、ドメインシフトに対して強い一般化性能を示す。
• 実験的結果から、ハイブリッドアテンションと1つの識別子を組み合わせた設定が、単純さを保ちつつ最先端の性能を達成することが確認された。