[論文レビュー] Collaborative Training between Region Proposal Localization and Classification for Domain Adaptive Object Detection

Ganlong Zhao, Guanbin Li+2 more|arXiv (Cornell University)|Sep 17, 2020

Advanced Neural Network Applications参考文献 32被引用数 5

ひとこと要約

本稿では、2段階オブジェクト検出器におけるドメインシフトが大きい状況下で、領域提案ネットワーク（RPN）と領域提案分類器（RPC）の間で協調的自己訓練を行う手法を提案する。高信頼度の提案を片方がもう片方をガイドする一方で、低信頼度のサンプルを不一致に基づくミニマックス最適化に用いることで、最先端の性能を達成し、Sim10kからCityscapesへのドメイン適応においてAPを9.94%向上させ、ベースラインのドメイン適応手法を上回った。

ABSTRACT

Object detectors are usually trained with large amount of labeled data, which is expensive and labor-intensive. Pre-trained detectors applied to unlabeled dataset always suffer from the difference of dataset distribution, also called domain shift. Domain adaptation for object detection tries to adapt the detector from labeled datasets to unlabeled ones for better performance. In this paper, we are the first to reveal that the region proposal network (RPN) and region proposal classifier~(RPC) in the endemic two-stage detectors (e.g., Faster RCNN) demonstrate significantly different transferability when facing large domain gap. The region classifier shows preferable performance but is limited without RPN's high-quality proposals while simple alignment in the backbone network is not effective enough for RPN adaptation. We delve into the consistency and the difference of RPN and RPC, treat them individually and leverage high-confidence output of one as mutual guidance to train the other. Moreover, the samples with low-confidence are used for discrepancy calculation between RPN and RPC and minimax optimization. Extensive experimental results on various scenarios have demonstrated the effectiveness of our proposed method in both domain-adaptive region proposal generation and object detection. Code is available at https://github.com/GanlongZhao/CST_DA_detection.

研究の動機と目的

• ソースドメインとターゲットドメインの間のドメインシフトによって引き起こされるオブジェクト検出性能の低下を解消すること。
• Faster R-CNNのような2段階検出器におけるRPNとRPCモジュールの、ドメインギャップが大きい状況下での異なる移行性を調査すること。
• 高信頼度の予測を相互に監視として用いることで、RPNとRPCを共同でトレーニングし、検出性能を向上させること。
• 低信頼度の提案を最大不一致分類器を用いて活用することで、敵対的ドメインアライメントを実現し、モデルの汎化性能を向上させること。
• バックボーンのみのアライメントや単純な特徴量アライメントよりも優れた性能を示す手法を開発すること。

提案手法

• 片方のモジュール（RPNまたはRPC）が出力する高信頼度の領域提案を、もう片方のモジュールを分類器として用いることで、相互に監視する協調的自己訓練（CST）を導入する。
• RPNが生成する提案に基づき、ドメイン不一致が大きい領域に適応的に重みを付ける局所的ドメインアライメント損失を適用する。
• 低信頼度の提案に注目し、ドメイン差を最大化するように設計された最大不一致分類器（MCD）を導入し、ミニマックス最適化によりロバストネスを向上させる。
• CST、重み付き局所アライメント、MCDを補完的要素として統合し、これらを同時にトレーニングすることで、全体の検出性能を向上させる。
• Faster R-CNNなどの2段階検出器フレームワークを用い、RPNを粗い前景/背景分類器、RPCを詳細な提案分類器として扱い、モジュール間の知識蒸留を可能にする。
• 勾配が2つのモジュール間で直接伝わらない問題を克服するため、RPCの勾配をRPNの最適化に、逆にRPNの勾配をRPCの最適化に用いる二重ブランチトレーニング戦略を採用する。

実験結果

リサーチクエスチョン

• RQ1 ドメインギャップが大きい状況下で、2段階オブジェクト検出器におけるRPNとRPCの移行特性にはどのような違いがあるか？
• RQ2 RPNまたはRPCが生成する高信頼度の提案が、もう片方のモジュールのトレーニングを効果的にガイドできるか？
• RQ3 不一致に基づく分類器を介して低信頼度の提案を統合することで、モデルの汎化性能とドメインロバストネスが向上するか？
• RQ4 RPNとRPCの協調的トレーニングは、バックボーンのみのアライメントや単純な特徴量アライメントを上回る性能を示せるか？
• RQ5 提案手法は、多様なドメイン適応シナリオにおいて、どの程度検出精度を向上させるか？

主な発見

• 提案手法は、Sim10k-to-Cityscapesベンチマークにおいて、平均平均精度（AP）を9.94%向上させ、ソースオンリーモデルの34.57%から44.51%に向上させた。
• 協調的自己訓練（CST）のみを用いてもAPが7.76%向上し、RPNとRPCの間での相互ガイドの有効性を示した。
• CST、重み付き局所アライメント、MCDの組み合わせが最高の性能を達成し、CSTのみに比べてAPをさらに2.18%向上させた。
• RPNの重み付き局所アライメント手法は、不要な画像領域（例：空、道路）を効果的に抑制し、オブジェクト関連の特徴に注目するようにした。
• 「ソースオンリー」と「ネイティブアライメント」の両方のベースラインを上回り、後者はわずか2.46%のAP向上にとどまった。
• 可視化結果から、モデルがオブジェクト関連領域に注目するよう学習していることが確認され、車両などの検出オブジェクトに対して高い注目重みが割り当てられていた。