[論文レビュー] Bridging the Sim2Real gap with CARE: Supervised Detection Adaptation with Conditional Alignment and Reweighting

Viraj Prabhu, David Acuna+6 more|arXiv (Cornell University)|Feb 9, 2023

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、ラベル付き実データを活用して外観およびコンテンツ分布を同時に整合化することで、シミュレーションから現実へのギャップ（sim2real gap）を埋める、2次元物体検出のための新規な教師ありドメイン適応フレームワークCAREを提案する。インスタンス特徴の条件付き整合化と、空間的・サイズ的・クラス的分布に基づくサンプルの再重み付けを組み合わせることで、CAREは最先端の性能を達成し、Synscapes→Cityscapesの設定においてmAP@50を最大25%向上させる。

ABSTRACT

Sim2Real domain adaptation (DA) research focuses on the constrained setting of adapting from a labeled synthetic source domain to an unlabeled or sparsely labeled real target domain. However, for high-stakes applications (e.g. autonomous driving), it is common to have a modest amount of human-labeled real data in addition to plentiful auto-labeled source data (e.g. from a driving simulator). We study this setting of supervised sim2real DA applied to 2D object detection. We propose Domain Translation via Conditional Alignment and Reweighting (CARE) a novel algorithm that systematically exploits target labels to explicitly close the sim2real appearance and content gaps. We present an analytical justification of our algorithm and demonstrate strong gains over competing methods on standard benchmarks.

研究の動機と目的

• 現実世界のラベル付きデータが存在するが、既存のドメイン適応手法で十分に活用されていない、研究と実践のギャップを解消すること。
• 合成（ラベル付き）および実（ラベル付き）データが利用可能な、2次元物体検出の教師ありシミュレーションから現実への適応設定を定式化すること。
• 外観（視覚的）およびコンテンツ（ラベル分布）の乖離を明示的にモデル化・整合化することで、シミュレーションから現実へのドメインギャップを体系的かつ包括的に縮小すること。
• このラベルに優位な状況において、単純なデータ混合や逐次的微調整、および教師なし／半教師ありベースラインを上回る手法を開発すること。

提案手法

• ソースドメインとターゲットドメインの損失を統合し、中間インスタンス表現の条件付き整合化を組み込んだ、共同リスク最小化フレームワークを提案する。
• ターゲットの真のラベルを用いて条件付き整合化を適用し、シミュレーションと実データ間の視覚的およびインスタンスレベルの分布シフトを低減する。
• 推定された条件付き分布に基づいてサンプルの重要度を調整する再重み付け機構を導入：$P(x,y|C)$、$P(w,h|C)$、および$P(C)$。
• ボクシングボックスの再重み付けを空間的（$P(x,y|C)$）およびサイズ的（$P(w,h|C)$）成分に分解し、ターゲット統計に適合させる。
• 特徴空間におけるサイクル整合性を強制することで、クロスドメインインスタンスマッチングを向上させ、整合された表現を保証する。
• 標準の検出モデルや既存のドメイン適応ベースラインと統合可能なモジュラ設計を採用する。

Figure 1 : Traditional Sim2Real domain adaptation assumes access to very few or no target labels, which is unrealistic in high-stakes applications like self-driving. We study the practical setting of supervised Sim2Real domain adaptation applied to 2D object detection, wherein the goal is to maximiz

実験結果

リサーチクエスチョン

• RQ1 単純なデータ混合や微調整を超えて、ラベル付き実データを体系的に活用し、2次元物体検出におけるシミュレーションから現実へのギャップをどのように是し得るか。
• RQ2 条件付き整合化とコンテンツ分布の再重み付けは、教師なしまたは少データのドメイン適応手法と比較して、一般化性能をどの程度向上させるか。
• RQ3 外観の整合化とコンテンツ分布の再重み付けの相対的な貢献度は、ドメインシフト低減においてどのように異なるか。
• RQ4 外観とコンテンツギャップを同時にモデル化する統合フレームワークは、ソースおよびターゲットデータのヒューリスティックな組み合わせを上回る性能を発揮できるか。
• RQ5 本手法は、希少オブジェクトカテゴリを含む長尾状況において、さまざまなドメインシフトに対してどの程度の性能を示すか。

主な発見

• Sim10K→Cityscapesベンチマークにおいて、CAREはmAP@50が68.1を達成し、次に良い手法（Seq. FT）を1.7ポイント、混合ベースラインを3.3ポイント上回る。
• Synscapes→Cityscapesのドメインシフトにおいて、CAREはベースライン比でmAP@50を最大25%向上させ、特に長尾状況下で顕著な向上を示す。
• クラス条件付き再重み付け（$P(C)$に基づく）は、特にマルチクラスソース設定において顕著な性能向上をもたらし、ベースライン比で1.5～2.5ポイントのmAP向上を達成する。
• $P(w,h|C)$および$P(x,y|C)$に基づく再重み付けは、すべてのオブジェクトカテゴリで一貫したmAP向上をもたらし、バスのような大型オブジェクトでは最大+10 mAPの向上を記録する。
• TIDEを用いた詳細な誤差解析により、CAREは分類誤り、局所化誤り、重複検出誤りを低減するとともに、複合誤りに対しても頑健であることが示された。
• 定性的な分析により、サイクル整合性がクロスドメインインスタンスマッチングを向上させ、類似した外観の車両が特徴空間でより近接して埋め込まれていることが確認された。

Figure 2 : The domain gap between a simulated source and real target domain consists of an appearance and content gap. The appearance gap corresponds to pixel-level differences ( e.g. texture and lighting) and instance-level differences ( e.g. vehicle design). The content gap consists of differences