[論文レビュー] Domain-Specific Suppression for Adaptive Object Detection

Yu Wang, Rui Zhang+5 more|arXiv (Cornell University)|May 8, 2021

Advanced Neural Network Applications参考文献 45被引用数 5

ひとこと要約

本稿では、畳み込みニューラルネットワーク（CNN）の逆誤差伝播において、ドメイン不変およびドメイン特有の方向を明示的に分離する新しい勾配制約であるドメイン特異的抑制（DSS）を提案する。これにより、ドメイン特有のノイズを標的的に抑制でき、ドメイン不変特徴に最適化を集中させることで、物体検出における多様な教師なしドメイン適応（UDA）シナリオにおいて、10.2–12.2%のmAP向上を達成し、最先端性能を実現する。

ABSTRACT

Domain adaptation methods face performance degradation in object detection, as the complexity of tasks require more about the transferability of the model. We propose a new perspective on how CNN models gain the transferability, viewing the weights of a model as a series of motion patterns. The directions of weights, and the gradients, can be divided into domain-specific and domain-invariant parts, and the goal of domain adaptation is to concentrate on the domain-invariant direction while eliminating the disturbance from domain-specific one. Current UDA object detection methods view the two directions as a whole while optimizing, which will cause domain-invariant direction mismatch even if the output features are perfectly aligned. In this paper, we propose the domain-specific suppression, an exemplary and generalizable constraint to the original convolution gradients in backpropagation to detach the two parts of directions and suppress the domain-specific one. We further validate our theoretical analysis and methods on several domain adaptive object detection tasks, including weather, camera configuration, and synthetic to real-world adaptation. Our experiment results show significant advance over the state-of-the-art methods in the UDA object detection field, performing a promotion of $10.2\sim12.2\%$ mAP on all these domain adaptation scenarios.

研究の動機と目的

• 物体検出における教師なしドメイン適応（UDA）で、ドメイン特有の特徴干渉によって性能が低下する問題に対処すること。
• モデル重みと勾配におけるドメイン不変およびドメイン特有の方向を明示的に分離することで、モデルの転送可能性を向上させること。
• タスク固有の再トレーニングを必要とせず、ドメイン不変特徴学習を強化する、プラグアンドプレイ可能な勾配制約を開発すること。
• 現在のUDA手法が、全体の特徴分布が一致している場合でも、ドメイン不変成分を適切に一致させられていないことを検証すること。
• DSSが、天候、カメラ設定、および合成データから実データへの適応など、多様なドメインシフトに対して有効であることを示すこと。

提案手法

• 重み方向への射影を用いて、モデル重みと勾配をドメイン不変およびドメイン特有の方向成分に分解する。
• 重みベクトルへの射影により、勾配のドメイン特有成分を推定し、逆誤差伝播における標的的抑制を可能にする。
• 簡略化されたバージョンは重みをL2ノルムで正規化することで計算コストを低減しながらも、同等の効果を維持する。
• Faster R-CNN や ResNet-50 などの標準的な検出フレームワークと互換性のある、プラグアンドプレイモジュールとして実装される。
• 勾配制約により、ドメイン特有の方向での更新を低減することで、最適化がドメイン不変最適解に収束するように強制する。
• Cityscapes、Foggy Cityscapes、KITTI、SIM10K で検証され、COCO事前学習モデルを用いた消去実験も実施されている。

実験結果

リサーチクエスチョン

• RQ1 ドメイン不変およびドメイン特有の勾配方向を明示的に分離することで、物体検出における転送性が向上するか？
• RQ2 なぜ現在のUDA手法は、全体の特徴分布が一致している場合でも、ドメイン不変特徴を適切に一致させられていないのか？
• RQ3 ドメイン特有の勾配成分を抑制することで、ドメインシフトにわたる一般化性能が向上するか？
• RQ4 DSSのようなシンプルで汎用的な勾配制約が、複雑な分布一致手法を上回る性能を発揮できるか？
• RQ5 大規模データセットでの事前学習とドメイン特異的抑制の組み合わせが、識別性および転送性の向上にどのように寄与するか？

主な発見

• DSSは、天候、カメラ設定、合成データから実データへの適応など、複数のUDA物体検出ベンチマークで、最先端手法を上回る10.2–12.2%のmAP向上を達成した。
• SIM10KからCityscapesへのベンチマークでは、COCO事前学習を用いたDSSが58.6 mAPを達成し、ソースオンリーベースラインから19.3ポイントの向上を示した。
• 勾配の定量的分析から、DSSはドメイン不変の動きパターンが重要な浅い層での勾配を顕著に増幅し、深い層では抑制していることが分かった。
• 可視化結果から、DSSが、特徴の一致はしているが性能低下を引き起こすドメイン不変不一致問題を解消していることが確認された。
• DSSは、濃い霧など、パターンやテクスチャの分布不一致に対して頑健であり、ベースラインのUDA手法が失敗する状況でも有効である。
• L2正規化された重みを用いた簡略化されたDSSバージョンは、最小限の計算コスト増加で高い性能を維持でき、プラグアンドプレイでの導入が可能である。