[論文レビュー] Task-specific Inconsistency Alignment for Domain Adaptive Object Detection

Liang Zhao, Limin Wang|arXiv (Cornell University)|Mar 29, 2022

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

本稿では、分類と局所化の2つのタスク空間に特徴アライメントを分離することで、オブジェクト検出のための新しいドメイン適応手法であるタスク特異的不一致アライメント（TIA）を提案する。補助予測器を導入し、シャノンエントロピーと標準偏差を用いてタスク特異的行動不一致を測定することで、分類と局所化の両サブタスクに対して独立にドメインアライメントを最適化し、分類と局所化の両方でSOTA性能を達成した。分類では+3.6%、局所化では+2.1%のmAP向上を達成した。

ABSTRACT

Detectors trained with massive labeled data often exhibit dramatic performance degradation in some particular scenarios with data distribution gap. To alleviate this problem of domain shift, conventional wisdom typically concentrates solely on reducing the discrepancy between the source and target domains via attached domain classifiers, yet ignoring the difficulty of such transferable features in coping with both classification and localization subtasks in object detection. To address this issue, in this paper, we propose Task-specific Inconsistency Alignment (TIA), by developing a new alignment mechanism in separate task spaces, improving the performance of the detector on both subtasks. Specifically, we add a set of auxiliary predictors for both classification and localization branches, and exploit their behavioral inconsistencies as finer-grained domain-specific measures. Then, we devise task-specific losses to align such cross-domain disagreement of both subtasks. By optimizing them individually, we are able to well approximate the category- and boundary-wise discrepancies in each task space, and therefore narrow them in a decoupled manner. TIA demonstrates superior results on various scenarios to the previous state-of-the-art methods. It is also observed that both the classification and localization capabilities of the detector are sufficiently strengthened, further demonstrating the effectiveness of our TIA method. Code and trained models are publicly available at https://github.com/MCG-NJU/TIA.

研究の動機と目的

• オブジェクト検出における既存のドメイン適応手法が、分類性能と局所化性能の両方を同時に向上させられないという制限に対処すること。
• 共有特徴空間ではなく、別々のタスク空間に特徴を明示的にアライメントすることで、ドメインシフトの問題を克服すること。
• 補助予測器の行動不一致を活用することで、分類と局所化の両タスクにおける特徴の転送性を向上させること。
• カテゴリ別および境界別予測におけるドメイン間乖離をよりよく捉えるタスク特異的損失関数を開発すること。

提案手法

• 各タスクブランチに補助分類器および局所化器のセットを導入し、タスク特異的行動出力を生成する。
• シャノンエントロピー（SE）を用いて、補助分類器間の合意のなさを測定・最小化し、カテゴリ別ドメイン乖離を捉える。
• 標準偏差（SD）を用いて、局所化器の予測の曖昧さを定量化・低減し、ドメイン間の境界別一貫性を向上させる。
• 分類と局所化のそれぞれのタスク空間で独立に最適化できる2つのタスク特異的不一致アライメント損失、$\mathcal{L}_{ia}^{cls}$ と $\mathcal{L}_{ia}^{loc}$ を設計する。
• 訓練中にこれらの損失を適用し、分類と局所化の能力が分離された形で向上するように特徴を精練する。
• バックボーンを変更せずに二段階検出器にTIAモジュールを統合し、最小限の計算オーバーヘッドでエンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 分類と局所化のタスク空間に分離されたアライメントを導入することで、オブジェクト検出におけるドメイン適応が向上するか？
• RQ2 補助予測器間の行動不一致を測定することで、統合された特徴空間アライメントよりも、ドメイン間乖離をよりよく捉えられるか？
• RQ3 エントロピーと標準偏差に基づくタスク特異的損失関数は、分類と局所化の両タスクにおいてドメインシフトを効果的に低減できるか？
• RQ4 提案された不一致に基づくアライメント手法は、MCD、DANN、SWDなどの既存のドメインアライメント手法よりも、オブジェクト検出においてより効果的か？

主な発見

• TIAは、PASCAL VOC → Clipartを含む複数のドメインシフトベンチマークでSOTA性能を達成し、分類では+3.6%、局所化では+2.1%のmAP向上を達成した。
• 提案された不一致アライメント損失（$\mathcal{L}_{ia}^{cls}$ と $\mathcal{L}_{ia}^{loc}$）は、L1、KLダイバージェンス、SWDといった標準損失関数を上回り、ドメイン乖離をよりよく捉えている。
• 補助分類器の数（$N$）を増やすと、局所化器の数（$M$）を増やすよりも性能向上が顕著に現れ、カテゴリ別不一致が境界別曖昧さよりもより情報を含んでいることを示している。
• TIAは、初めてとしてソースオンリーベースラインに比べて誤検出（mislocalization）エラーを低減した。これにより、局所化のロバストネス向上の有効性が実証された。
• 誤差解析の結果、TIAは正しい検出（IoU ≥ 0.5）を増加させ、誤検出と誤検出位置の誤りを減少させ、両タスクにおける特徴の識別性向上が確認された。