[論文レビュー] Domain Adaptive Object Detection via Asymmetric Tri-way Faster-RCNN

Zhenwei He, Lei Zhang|arXiv (Cornell University)|Jul 3, 2020

Advanced Neural Network Applications参考文献 40被引用数 15

ひとこと要約

本稿では、パラメータ共有型シアンプスネットワークにおけるソースドメインの崩壊リスクに対処するため、非対称な三路型Faster R-CNN（ATF）を提案する。ソースラベルで監視される補助ネットワークを導入し、本検出器から分離することで、構造的識別性を向上させるとともに、ソース特徴の信頼性を保持する。この手法により、CityscapesからFoggy Cityscapesへのクロスドメインベンチマークを含む複数の設定でSOTAのmAPを達成した。

ABSTRACT

Conventional object detection models inevitably encounter a performance drop as the domain disparity exists. Unsupervised domain adaptive object detection is proposed recently to reduce the disparity between domains, where the source domain is label-rich while the target domain is label-agnostic. The existing models follow a parameter shared siamese structure for adversarial domain alignment, which, however, easily leads to the collapse and out-of-control risk of the source domain and brings negative impact to feature adaption. The main reason is that the labeling unfairness (asymmetry) between source and target makes the parameter sharing mechanism unable to adapt. Therefore, in order to avoid the source domain collapse risk caused by parameter sharing, we propose an asymmetric tri-way Faster-RCNN (ATF) for domain adaptive object detection. Our ATF model has two distinct merits: 1) A ancillary net supervised by source label is deployed to learn ancillary target features and simultaneously preserve the discrimination of source domain, which enhances the structural discrimination (object classification vs. bounding box regression) of domain alignment. 2) The asymmetric structure consisting of a chief net and an independent ancillary net essentially overcomes the parameter sharing aroused source risk collapse. The adaption safety of the proposed ATF detector is guaranteed. Extensive experiments on a number of datasets, including Cityscapes, Foggy-cityscapes, KITTI, Sim10k, Pascal VOC, Clipart and Watercolor, demonstrate the SOTA performance of our method.

研究の動機と目的

• パラメータ共有型シアンプスネットワークを用いた自己教師的ドメイン適応オブジェクト検出において、ソースドメインの崩壊リスクを軽減すること。
• ラベル付きソースドメインとラベルなしターゲットドメインの間のドメインシフトによって引き起こされる性能低下を緩和すること。
• 補助学習メカニズムを通じて、ターゲットドメインにおける特徴の信頼性と構造的識別性（分類対比回帰）を向上させること。
• ターゲットアノテーションに依存せずに、より安全で効果的なドメイン適応を実現すること。

提案手法

• 主ネットと独立した補助ネットを備えた非対称な三路ネットワークアーキテクチャを導入し、ソースとターゲットブランチ間のパラメータ共有を回避する。
• 補助ネットをソースラベルで訓練することで、ターゲットに類似した特徴を学習し、ドメイン整合における構造的識別性を強化する。
• 補助ネットを用いて合成ターゲット特徴を生成し、分類およびボクシングボックス回帰の意思決定境界を改善する。
• 識別器を用いた敵対的ドメイン整合を適用し、ドメイン差を最小化するとともに、ソース特徴の品質を保持する。
• 検出、ドメイン整合、補助監視を組み合わせた重み付き損失関数を用いて、主ネットと補助ネットをエンドツーエンドで同時に最適化する。
• 補助ネットの寄与度を調整するハイパーパrameter αを導入し、最適な性能は α=0.7 で達成された。

実験結果

リサーチクエスチョン

• RQ1 非対称なネットワーク構造は、パラメータ共有型シアンプスドメイン適応ネットワークにおけるソースドメインの崩壊を防げるか？
• RQ2 補助ネットを用いたターゲットドメインにおける補助監視は、特徴の識別性と検出性能をどのように向上させるか？
• RQ3 提案手法は、ターゲットドメインにおける構造的識別性（分類対比回帰）をどの程度保持できるか？
• RQ4 ターゲットアノテーションが存在しない場合、学習された特徴の信頼性に影響を与えるか？また、補助学習によってこれを緩和できるか？
• RQ5 多様なドメインシフトシナリオにおいて、提案手法は既存のSOTA手法と比較してmAPと頑健性の点で優れているか？

主な発見

• CityscapesからFoggy Cityscapesにドメイン適応する際、提案されたATFモデルはmAP 38.7%を達成し、DAFおよびMAFを上回った。
• ATFのRPNは、正例ボックスに対して57.1%のリCALLを達成し、比較対象の全モデルの中で最高であった。これは、領域提案品質の向上を示している。
• 補助ネットは、クロップされた正例サンプルにおける分類器の正確性を顕著に向上させ、RPNのリCALLが低いことによる誤分類を低減した。
• 訓練の全期間にわたり、ATFはパラメータ共有型MAFと比較して、ソースドメイン（Cityscapes）におけるmAPがより高い水準を維持した。これは、ソースリスクの低減とモデルの安定性向上を裏付けている。
• 感度分析の結果、最適な性能はα=0.7で達成され、α=1.3に上昇させるとmAPが38.0%に低下した。これはハイパーパrameter調整の重要性を確認するものであった。
• Foggy Cityscapesにおける定性的な結果から、ATFはDAFおよびMAFと比較して、特に悪天候条件下でもより正確で一貫性のある検出を実現した。