[論文レビュー] SCL: Towards Accurate Domain Adaptive Object Detection via Gradient Detach Based Stacked Complementary Losses

Zhiqiang Shen, Harsh Maheshwari+2 more|arXiv (Cornell University)|Nov 6, 2019

Domain Adaptation and Few-Shot Learning参考文献 33被引用数 84

ひとこと要約

SCL は勾配デタッチに基づく積み重ねられた補完損失を用いた教師なしドメイン適応物体検出を導入し、勾配デタッチされたコンテキストブランチと複数目的監督を組み合わせることで、複数のドメインシフトベンチマークで最先端の性能を達成します。

ABSTRACT

Unsupervised domain adaptive object detection aims to learn a robust detector in the domain shift circumstance, where the training (source) domain is label-rich with bounding box annotations, while the testing (target) domain is label-agnostic and the feature distributions between training and testing domains are dissimilar or even totally different. In this paper, we propose a gradient detach based stacked complementary losses (SCL) method that uses detection losses as the primary objective, and cuts in several auxiliary losses in different network stages accompanying with gradient detach training to learn more discriminative representations. We argue that the prior methods mainly leverage more loss functions for training but ignore the interaction of different losses and also the compatible training strategy (gradient detach updating in our work). Thus, our proposed method is a more syncretic adaptation learning process. We conduct comprehensive experiments on seven datasets, the results demonstrate that our method performs favorably better than the state-of-the-art methods by a significant margin. For instance, from Cityscapes to FoggyCityscapes, we achieve 37.9% mAP, outperforming the previous art Strong-Weak by 3.6%.

研究の動機と目的

• 著しいソース-ターゲットドメインシフトの下での物体検出に対する教師なしドメイン適応に対処する。
• 検出を複数の補完的な補助損失と共同で最適化する統合的学習フレームワークを開発する。
• 勾配デタッチ学習戦略を取り入れ、メイン検出器と崩壊せずに識別的な文脈表現を学習する。
• 多様なベンチマークにおいてクロスドメイン検出性能の改善を示す。
• ドメイン適応検出における補完損失の選択と学習戦略のためのアブレーションとガイダンスを提供する。

提案手法

• 主検出損失と並行して、異なるネットワーク段階に補助損失を追加する多重補完目的学習フレームワークを定義する。
• 複数の深さでソースとターゲットの特徴を整合させるために勾配反転を用いたドメイン分類器を使用する（深層監督）。
• RoIレベルのインスタンス特徴とコンテキストサブネットからのコンテキストベクターを融合させるインスタンス-コンテキスト整合損失を導入する。
• 勾配デタッチ更新戦略を適用して、文脈表現を主検出経路とは異なりながら補完的に保ち、勾配干渉を防ぐ。
• L_det（検出）とL_SCL（補完損失）を最小-最大の定式化で組み合わせた目的関数で最適化し、トレードオフパラメータ lambda を導入する。
• 勾配デタッチの後向パス（アルゴリズム1）を組み込み、ドメイン適応の識別的文脈学習を強化する。
• RPNを備えたFaster R-CNN を活用し、階層的に識別可能で文脈認識の補助監督（L_ILoss）とGRLベースの対戦揃合成を追加する。

実験結果

リサーチクエスチョン

• RQ1 勾配デタッチと積み重ねられた補完損失は、従来の単一損失整列法を超えて教師なしドメイン適応物体検出を改善できますか？
• RQ2 異なるネットワーク段階で複数の補完損失を適用することが、クロスドメイン特徴学習と検出器性能にどのような影響を与えますか？
• RQ3 文脈認識型で勾配-detached な補助ブランチは、ドメインシフト下での物体の局在化と認識にどのような影響を与えますか？
• RQ4 検出タスクにおけるドメイン適応のための補完損失の選択とネットワーク内の配置に関する実用的ガイドラインは何ですか？

主な発見

• SCLは複数のドメインシフトで最先端のベースラインより高いmAPを達成します。例えばCityscapesからFoggyCityscapesへは37.9%のmAPを達成し、Strong-Weakより3.6%高いです。
• Cityscapes to FoggyCityscapes では、文脈と detach を組み込んだ全モデルが37.9%のmAPを示し、従来法を上回り、多様な補助損失と共に勾配デタッチの利点を示します。
• 複数のベンチマーク（例：KITTI to Cityscapes、Sim10K to Cityscapes、PASCAL to Clipart/Watercolor）で、私たちの手法は非適応ベースラインおよび競合ベースラインを一貫して上回ります。例えばKITTI↔Cityscapes適応ではCarのAPが低40代〜低50代の範囲でDAおよび従来実装を上回ります。
• 勾配デタッチ学習はより識別的な文脈表現を生み出し、ヒートマップの可視化はデタッチなしモデルに比べて物体領域への焦点が鋭くなり、背景への注意が減少します。
• 綿密なアブレーションにより、損失タイプを慎重に組み合わせ、適切な深度（低レベルLS、中間レベルCE、高レベルFL）に配置し、Detach を組み合わせると最良の性能をもたらすことが示されます（例：ContextとDetachを用いたLS–CE–FL–FL）。
• この手法は、合成-to-real（Sim10K to Cityscapes）や異なるドメイン対（PASCAL to Clipart/Watercolor）を含む多様なタスクで強力な性能を示し、堅牢なクロスドメイン物体検出能力を示します。