[論文レビュー] Decoupled Adaptation for Cross-Domain Object Detection

Junguang Jiang, Baixu Chen+2 more|arXiv (Cornell University)|Oct 6, 2021

Advanced Neural Network Applications参考文献 53被引用数 28

ひとこと要約

この論文はD-adaptを紹介します。カテゴリ適応と境界ボックス回帰を分離したクロスドメイン物体検出のデカップルドフレームワークであり、ローカリゼーションを改善するための境界ボックスアダプタを含み、複数のクロスドメインタスクで最先端の結果を達成します。

ABSTRACT

Cross-domain object detection is more challenging than object classification since multiple objects exist in an image and the location of each object is unknown in the unlabeled target domain. As a result, when we adapt features of different objects to enhance the transferability of the detector, the features of the foreground and the background are easy to be confused, which may hurt the discriminability of the detector. Besides, previous methods focused on category adaptation but ignored another important part for object detection, i.e., the adaptation on bounding box regression. To this end, we propose D-adapt, namely Decoupled Adaptation, to decouple the adversarial adaptation and the training of the detector. Besides, we fill the blank of regression domain adaptation in object detection by introducing a bounding box adaptor. Experiments show that D-adapt achieves state-of-the-art results on four cross-domain object detection tasks and yields 17% and 21% relative improvement on benchmark datasets Clipart1k and Comic2k in particular.

研究の動機と目的

• 画像あたり複数の物体が存在し、未知のターゲットラベルが転移を複雑にする物体検出におけるドメインシフトを動機づけ、対処する。
• 識別性を保ちつつ転送を可能にするために、対立的適応を検出器の訓練からデカップル化する。
• 分類と局在化を別々に適応するために、カテゴリアダプタと境界ボックスアダプタを導入する。
• カテゴリと局在化タスクの適応を導くためのデータ分布調整を提案する。
• 4つのクロスドメイン検出ベンチマークで最先端の性能を示し、構成要素の寄与を解明するアブレーションを提供する。）
• method_0_1
• method_2
• method_3
• method_4
• method_5
• method_description_dummy

提案手法

• クロスドメイン適応を、検出器とはパラメータに独立した別個の適応器（カテゴリと境界ボックス）としてデカップル化する。
• 適応器が前段階の情報を活用しつつ、独立した入力、損失、およびパラメータを持つ階層的協調を導入する。
• カテゴリアダプタは、提案領域空間の低密度分離を尊重する信頼度ベースの重み付けを伴うクラス毎の敵対的整合を用いる。
• 境界ボックスアダプタは、ターゲットドメインのIoU差を最大化する敵対的回帰器を用いた回帰ベースのアプローチを採用し、ドメイン不変でかつ正確なボックス局在化を導く。
• アダプタからの疑似ラベリングを活用してターゲットドメイン上で検出器を訓練する、推論コストを増やさずに反復的な自己フィードバックループを実現する。
• Algorithm 1 は、提案生成、アダプタ訓練、検出器最適化の交互訓練を概説する。Stage 1 source pre-training、Stage 2 category adaptation、Stage 3 box adaptation、Stage 4 target-domain pseudo-label training を含む。

実験結果

リサーチクエスチョン

• RQ1 カテゴリと境界ボックス適応をデカップル化することで、クロスドメイン物体検出における転移性と識別性を改善できるか？
• RQ2 適応を検出器訓練から分離することで、ドメインシフト下で局在化と分類の性能を保てるか？
• RQ3 カテゴリ整合を超えた境界ボックスアダプタがクロスドメイン設定での局在化を改善できるか？
• RQ4 適応からのデータ分布調整と疑似ラベリングがターゲットドメインの性能にどう影響するか？

主な発見

• D-adapt は4つのクロスドメイン物体検出タスクで最先端の結果を達成する。
• VOC-to-Clipart や VOC-to-Comic2k のような難しい転送で、従来法に対して有意な改善を示す（報告実験でのmAPの大幅な獲得など）。
• 信頼度加重の敵対的目的を持つカテゴリアダプタは、ターゲットドメインのカテゴリ識別を改善しつつ、背景提案からの曖昧さを緩和する。
• IoUに焦点を当てた不等価性目的を持つ境界ボックスアダプタは局在化を改善し、その敵対的成分はドメイン間で回帰を整合させるのに役立つ。
• デカップルドフレームワークは、異なる検出器のバックボーンや設定でも改善を持続し、アダプタは取り外し可能なため推論時のオーバーヘッドはない。