[論文レビュー] Cross-Domain Correlation Distillation for Unsupervised Domain Adaptation in Nighttime Semantic Segmentation

Huan Gao, Jichang Guo+2 more|arXiv (Cornell University)|May 2, 2022

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、照度の不変性と固有のデータセット差異を活用するため、夜間画像セマンティックセグメンテーションのための新しい教師なしドメイン適応フレームワークであるCCDistillを提案する。ラベル付き昼間画像からラベルなし夜間画像へ、学習された特徴相関を通じてコンテンツおよびスタイル知識を蒸留することで、追加データやスタイル変換ネットワークを必要とせず、Dark Zurichで47.5%のmIoUを達成し、最先端の性能を実現する。

ABSTRACT

The performance of nighttime semantic segmentation is restricted by the poor illumination and a lack of pixel-wise annotation, which severely limit its application in autonomous driving. Existing works, e.g., using the twilight as the intermediate target domain to perform the adaptation from daytime to nighttime, may fail to cope with the inherent difference between datasets caused by the camera equipment and the urban style. Faced with these two types of domain shifts, i.e., the illumination and the inherent difference of the datasets, we propose a novel domain adaptation framework via cross-domain correlation distillation, called CCDistill. The invariance of illumination or inherent difference between two images is fully explored so as to make up for the lack of labels for nighttime images. Specifically, we extract the content and style knowledge contained in features, calculate the degree of inherent or illumination difference between two images. The domain adaptation is achieved using the invariance of the same kind of difference. Extensive experiments on Dark Zurich and ACDC demonstrate that CCDistill achieves the state-of-the-art performance for nighttime semantic segmentation. Notably, our method is a one-stage domain adaptation network which can avoid affecting the inference time. Our implementation is available at https://github.com/ghuan99/CCDistill.

研究の動機と目的

• 低照度とピクセル単位のアノテーション不足による夜間セマンティックセグメンテーションの性能低下を是正すること。
• 照度差異と固有のデータセット差異（例：都市風景、カメラセンサー）の2種類のドメインシフトを処理すること。
• 推論時間の増加を回避するため、エンドツーエンドで1段階の教師なしドメイン適応フレームワークを構築すること。
• ドメイン間相関の不変性を活用することで、大規模なドメインシフトにおける知識蒸留を改善すること。
• 外部の画像変換ネットワークに依存せずに、効果的なセマンティックレベルのスタイル変換を可能とすること。

提案手法

• ドメイン間のコンテンツおよびスタイル差異における不変性を抽出・活用するため、クロスドメイン相関蒸留（CCD）を提案する。
• 異なるドメインからの特徴を共有埋め込み空間にマッピングするためのプロジェクトヘッドを用い、意味のある相関計算を可能にする。
• コンテンツ埋め込みのドメイン間整合性を高めるために、Jensen-Shannonダイバージェンス損失（$L_{JS}$）を採用し、知識蒸留を強化する。
• 照度相関（$Cor_{illu}$）と固有相関（$Cor_{in}$）を導入し、ドメインシフトの不変性を測定・活用する。
• セマンティックレベルの蒸留の前段階で、LABベースのカラースペース変換を適用し、グローバルなスタイル差を低減する。
• コンテンツ蒸留（CCD）とスタイル蒸留（CDS）を組み合わせることで、セマンティックの一貫性とスタイル整合性の両方を達成する。

実験結果

リサーチクエスチョン

• RQ1 クロスドメイン相関蒸留は、夜間セマンティックセグメンテーションにおける照度差異と固有のデータセット差異の両方を効果的に処理できるか？
• RQ2 コンテンツおよびスタイル相関を用いて測定されるドメインシフトの不変性は、教師なしドメイン適応における知識蒸留をどのように改善するか？
• RQ3 追加のトレーニングデータやスタイル変換ネットワークを必要とせず、1段階でエンドツーエンドに設計されたフレームワークがSOTA性能を達成できるか？
• RQ4 各構成要素（例：プロジェクトヘッド、$L_{JS}$、CDS、LAB変換）が最終的な性能に果たす相対的寄与度は何か？
• RQ5 ドメインシフトが大きい場合、CDSによるセマンティックレベルのスタイル整合が、直接的な蒸留よりも優れているか？

主な発見

• CCDistillはDark Zurichテストセットで47.5%のmIoUを達成し、教師なし夜間セマンティックセグメンテーション分野で新たな最先端性能を樹立した。
• クロスドメインコンテンツ蒸留（CCD）のコンponentを削除するとmIoUが2.2%低下し、性能向上におけるその中心的役割が裏付けられた。
• プロジェクトヘッドは極めて重要であり、欠落させるとmIoUが9.3%低下した。これは、ドメインギャップに配慮した特徴整合が、効果的な蒸留に不可欠であることを示している。
• $L_{JS}$損失はmIoUを2.9%向上させ、コンテンツ埋め込みの整合性を高める上で有効であることが確認された。
• CDS（クロスドメインスタイル蒸留）はmIoUに0.5%の向上寄与を示し、その除去により3.5%の低下が生じた。これは、セマンティックレベルのスタイル転送においてCDSが重要な役割を果たしていることを示している。
• LABベースのカラースペース変換は、mIoUを4%向上させ、グローバルなスタイル整合が、後続のセマンティック転送の難易度を低下させることを示している。