[論文レビュー] Domain Generalisation for Object Detection under Covariate and Concept Shift

Karthik Seemakurthy, Erchan Aptoula+2 more|arXiv (Cornell University)|Mar 10, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、境界ボックス検出とドメイン分類の両方に対してドメイン不変特徴を学ぶために一貫性正則化損失を導入する、物体検出のドメイン一般化手法を提案する。GWHD、Cityscapes、BDD100K、Sim10Kの4つのデータセットで評価した結果、ターゲットドメインデータを必要とせず、特にコンセプトシフトおよびコバリアントシフト下で優れた一般化性能を達成した。

ABSTRACT

Domain generalisation aims to promote the learning of domain-invariant features while suppressing domain-specific features, so that a model can generalise better to previously unseen target domains. An approach to domain generalisation for object detection is proposed, the first such approach applicable to any object detection architecture. Based on a rigorous mathematical analysis, we extend approaches based on feature alignment with a novel component for performing class conditional alignment at the instance level, in addition to aligning the marginal feature distributions across domains at the image level. This allows us to fully address both components of domain shift, i.e. covariate and concept shift, and learn a domain agnostic feature representation. We perform extensive evaluation with both one-stage (FCOS, YOLO) and two-stage (FRCNN) detectors, on a newly proposed benchmark comprising several different datasets for autonomous driving applications (Cityscapes, BDD10K, ACDC, IDD) as well as the GWHD dataset for precision agriculture, and show consistent improvements to the generalisation and localisation performance over baselines and state-of-the-art.

研究の動機と目的

• ドメイン間の条件付き分布が異なる状況下で、共変量シフトおよびコンセプトシフトの両方を想定した物体検出におけるドメイン一般化を解決する。
• 主に分類タスクに特化した従来のドメイン一般化手法の限界を克服し、物体検出に直接適用可能な手法を提供する。
• ターゲットドメインデータに依存せずに、物体検出とドメイン不変性の両方を統合的に最適化する訓練フレームワークを構築する。
• 外見的特徴やオブジェクトの意味論に影響を受けるドメインシフトが存在する状況でも、事前に未観測のドメインに一般化できるエンドツーエンドの物体検出器の訓練を可能にする。
• 自動運転や農業分野に関連する多様な実世界データセットを用いて、視覚的変化に強い性能を実証する。

提案手法

• 同じ入力画像に対して異なるドメインに依存しないオーグメンテーションを適用した際の予測の一貫性を促進する、新しい一貫性正則化項を導入する。
• 標準的な検出損失（境界ボックス回帰および分類用）とドメイン分類器損失を組み合わせた共同学習目的関数を定式化する。
• 同じ画像を異なるドメインに依存しないオーグメンテーションで変換した際の予測間に一貫性正則化を適用し、不変性を強制する。
• 検出とドメイン分類のための別々のヘッドを備えた共有特徴抽出器を用い、ドメイン不変表現の共同最適化を可能にする。
• 標準的な物体検出アーキテクチャ（例：Faster R-CNN）を用いてエンドツーエンドで学習するが、正則化項以外のアーキテクチャ的変更は加えない。
• i.i.d.でないデータ分布下でも一般化を可能にする新しい境界ボックス損失部を導入し、特に条件付き分布がドメイン間で異なる状況に適応する。

実験結果

リサーチクエスチョン

• RQ1 一貫性正則化を、共変量シフトおよびコンセプトシフト下で物体検出に効果的に拡張できるか？
• RQ2 複数ドメインの物体検出シナリオにおいて、提案手法は従来のドメイン一般化ベースラインを上回る性能を示すか？
• RQ3 トレーニング時にターゲットドメインデータが利用できない状況下で、モデルは未観測のターゲットドメインにどの程度一般化できるか？
• RQ4 遮蔽、ぼやけ、悪天候などの困難な条件下で、モデルの失敗モードは何か？
• RQ5 ドメインあたりの画像数が少ない場合やドメインが極めて多様な場合でも、性能が維持されるか？

主な発見

• 提案手法は、GWHD、Cityscapes、BDD100K、Sim10Kの全評価データセットで、従来のドメイン一般化ベースラインを常に上回る一般化性能を達成した。
• Cityscapesデータセットでは、ターゲットデータが利用可能な状況下でも、標準的なドメイン適応ベースラインを上回った。これは、本手法がターゲットデータが存在する状況でも有効であることを示している。
• Fog、雨、低照度などの重度の視覚的変化に対しても、そのドメインでトレーニングを行わずとも、高い検出精度を維持した。
• 失敗事例として、類似オブジェクト（例：車/バス/電車）の誤分類や、遮蔽・ぼやけたオブジェクトの検出漏れが観察された。これは、微細な差異や遮蔽状態のインスタンスを処理する能力に限界があることを示している。
• 影や明るい照明の影響により、わらとうきゅうの検出で誤検出（ファルスポジティブ）が発生した。これは、前処理の改善やアーキテクチャ的制約の導入が求められることを示唆している。
• 農業分野の単一オブジェクト検出（GWHD）および自動運転分野の多様なオブジェクト検出（Cityscapes）の両方で、本手法は良好な一般化性能を示した。これにより、広範な適用可能性が検証された。