[論文レビュー] Cross-Region Domain Adaptation for Class-level Alignment

Zhijie Wang, Xing Liu+2 more|arXiv (Cornell University)|Sep 14, 2021

Domain Adaptation and Few-Shot Learning参考文献 38被引用数 4

ひとこと要約

本稿では、ターゲットドメイン内の特徴分布を敵対的に整合させることで、クラスレベルの不整合を低減する、セマンティックセグメンテーションのための新しい非教師ありドメイン適応手法であるクロスリージョン適応（CRA）を提案する。信頼性マップを用いてターゲット画像を信頼できる領域と信頼できない領域に分割し、これらの領域間で敵対的訓練を施すことで、任意の既存のクロスドメイン適応（CDA）手法と組み合わせて性能を向上させ、GTA5→Cityscapes、SYNTHIA→Cityscapes、Synscapes→Cityscapesベンチマークで最先端の結果を達成する。

ABSTRACT

Semantic segmentation requires a lot of training data, which necessitates costly annotation. There have been many studies on unsupervised domain adaptation (UDA) from one domain to another, e.g., from computer graphics to real images. However, there is still a gap in accuracy between UDA and supervised training on native domain data. It is arguably attributable to class-level misalignment between the source and target domain data. To cope with this, we propose a method that applies adversarial training to align two feature distributions in the target domain. It uses a self-training framework to split the image into two regions (i.e., trusted and untrusted), which form two distributions to align in the feature space. We term this approach cross-region adaptation (CRA) to distinguish from the previous methods of aligning different domain distributions, which we call cross-domain adaptation (CDA). CRA can be applied after any CDA method. Experimental results show that this always improves the accuracy of the combined CDA method, having updated the state-of-the-art.

研究の動機と目的

• 非教師ありドメイン適応におけるセマンティックセグメンテーションにおいて、ソース（合成）ドメインとターゲット（実画像）ドメインの特徴分布の間のクラスレベルの不整合を解消すること。
• クラスレベルでのドメインシフトを低減させることで、既存のクロスドメイン適応（CDA）手法の性能を向上させること。
• 自己学習を用いてターゲットドメイン内で信頼できる領域と信頼できない領域を定義し、それらの領域間の特徴整合を実現する手法を開発すること。
• ベースとなるCDAフレームワークを変更せずに、複数のベンチマークで一貫した性能向上を達成すること。
• 公式のCityscapesテストセット評価を用いて、妥当な比較が可能なように、検証セット漏洩を回避する有効性の検証を行うこと。

提案手法

• 教師モデルの予測から信頼性マップを生成する自己学習フレームワークを用い、各ピクセルを信頼できる（エントロピーが低い）または信頼できない（エントロピーが高い）と分類する。
• ターゲット画像を2つの領域に分割する：信頼できる（エントロピーが低い）領域と信頼できない（エントロピーが高い）領域であり、特徴空間内に2つの明確な特徴分布を形成する。
• 信頼できる領域と信頼できない領域の特徴表現の間で敵対的訓練を適用し、ターゲットドメイン内でのドメインシフトを最小化する。
• このクロスリージョン適応（CRA）は、既存のCDA手法の*後*に適用されるため、幅広い先行手法と互換性があり、それらを強化できる。
• 信頼性マップを用いて、敵対的整合の対象領域を選択する。これにより、高信頼度の予測のみがモデルの最適化に使用される。
• フレームワークはエンドツーエンドで訓練され、学生モデルは信頼できない領域の疑似ラベルを用いて更新され、信頼できる領域と信頼できない領域の特徴間で敵対的損失が計算される。

実験結果

リサーチクエスチョン

• RQ1 ターゲットドメイン内での敵対的整合が、クロスドメイン適応の性能を妨げるクラスレベルの不整合を低減できるか？
• RQ2 ターゲット画像を信頼できる領域と信頼できない領域に分割することで、標準的なクロスドメイン整合と比較して、特徴分布の整合性が向上するか？
• RQ3 CRAは、アーキテクチャの変更なしに、任意の既存のCDA手法に普遍的に適用可能か？
• RQ4 CRAは、エントロピー最小化や疑似ラベルのみの学習よりも、ドメインシフトの低減において優れているか？
• RQ5 CRAによる性能向上は、検証セット漏洩を回避する公式のCityscapesテストセット評価においても成立するか？

主な発見

• CRAはGTA5→Cityscapesベンチマークで、評価されたすべてのCDAベースラインの性能を一貫して向上させ、mIoUで+1.0～+2.9の向上を達成した。
• ProDAと組み合わせた場合、CRAはGTA5→Cityscapesで58.6%のmIoUを達成し、以前のSOTA（57.5%）を上回り、新たな最先端の結果を樹立した。
• Synscapes→Cityscapesベンチマークでは、ProDA+CRAが60.2%のmIoUを達成し、過去のSOTAより0.8pp高い結果を出した。
• 公式のCityscapesテストセットでは、FADA+CRAが53.8%のmIoUを達成し、FADA単体（52.4%）を上回り、検証セット漏洩を回避した健全な性能向上を示した。
• IAST+CRAはCityscapesテストセットで55.6%のmIoUを達成し、IAST単体（54.4%）を上回り、手法に依存しない一貫した向上を確認した。
• アブレーションでは、CRA（50.4 mIoU）が疑似ラベルのみの学習（47.5 mIoU）およびエントロピー最小化（48.4 mIoU）を上回り、領域ベースの整合の優位性を検証した。