[論文レビュー] Contextual-Relation Consistent Domain Adaptation for Semantic Segmentation

Jiaxing Huang, Shijian Lu+2 more|arXiv (Cornell University)|Jul 5, 2020

Domain Adaptation and Few-Shot Learning参考文献 64被引用数 11

ひとこと要約

本稿では、セマンティックセグメンテーションのための新しい教師なしドメイン適応手法であるコンテキスト関係一貫性ドメイン適応（CrCDA）を提案する。この手法は、プロトタイプ的な領域別特徴関係を学習・転送することで、ソースドメインとターゲットドメイン間の局所的コンテキスト関係の一貫性を強制する。追加の計算コストを伴わずに、数百の局所的コンテキスト関係を適応的エントロピー最大化最小化敵対学習によりアライメントすることで、GTA5→CityscapesおよびSYNTHIA→Cityscapesベンチマークで最先端の性能を達成し、従来手法を最大7.2% mIoU向上させる。

ABSTRACT

Recent advances in unsupervised domain adaptation for semantic segmentation have shown great potentials to relieve the demand of expensive per-pixel annotations. However, most existing works address the domain discrepancy by aligning the data distributions of two domains at a global image level whereas the local consistencies are largely neglected. This paper presents an innovative local contextual-relation consistent domain adaptation (CrCDA) technique that aims to achieve local-level consistencies during the global-level alignment. The idea is to take a closer look at region-wise feature representations and align them for local-level consistencies. Specifically, CrCDA learns and enforces the prototypical local contextual-relations explicitly in the feature space of a labelled source domain while transferring them to an unlabelled target domain via backpropagation-based adversarial learning. An adaptive entropy max-min adversarial learning scheme is designed to optimally align these hundreds of local contextual-relations across domain without requiring discriminator or extra computation overhead. The proposed CrCDA has been evaluated extensively over two challenging domain adaptive segmentation tasks (e.g., GTA5 to Cityscapes and SYNTHIA to Cityscapes), and experiments demonstrate its superior segmentation performance as compared with state-of-the-art methods.

研究の動機と目的

• 従来の教師なしドメイン適応手法がグローバル分布アライメントにのみ焦点を当て、局所的コンテキストの一貫性を無視するという制限を解決する。
• ラベル付きソースドメインからの局所的領域別セマンティック関係をモデル化・転送することで、実世界のターゲットドメインにおけるセグメンテーション精度を向上させる。
• 複数の識別器や1つのグローバル識別器を用いることで生じる非効率性とバイアスを克服する。
• 共起する視覚的パターン間の適合性および不適合性関係を明示的に強制することで、ドメイン間で一貫した特徴学習を実現する。
• 局所的コンテキスト関係アライメントが、既存のグローバルスケールアライメント技術と相補的であることを示す。

提案手法

• DBSCANを用いてピクセルレベルの正例マップからの領域をクラスタリングすることで、ソースドメインにおける局所的コンテキスト関係の疑似アノテーションを構築する。
• ソースドメインの特徴空間において、プロトタイプ的な局所的コンテキスト関係を明示的に学習・モデル化する分類器Cを訓練する。
• バックプロパゲーションに基づく敵対的学習を介して、これらの学習済み局所的関係をラベルなしターゲットドメインに転送する。
• 追加の識別器や計算コストを要せず、ドメイン間で数百の局所的コンテキスト関係を最適にアライメントできる、適応的エントロピー最大化最小化（AEMM）敵対的学習方式を設計する。
• 標準的なセグメンテーション損失および敵対的損失とAEMM損失を統合し、特徴表現、局所的一致性、グローバルアライメントを同時に最適化する。
• ピクセルレベルおよび局所的領域レベルの両方で特徴をアライメントするマルチスケール敵対的適応を用いることで、耐性および一貫性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 局所的コンテキスト関係の明示的モデリングは、セマンティックセグメンテーションにおけるドメイン適応性能を向上させるか？
• RQ2 局所的セマンティック適合性および不適合性関係を強制することで、グローバル分布アライメントのみに依存する手法よりも優れた特徴アライメントが達成できるか？
• RQ3 1つの適応的エントロピー最大化最小化敵対メカニズムで、追加の識別器や計算コストなしに複数の局所的コンテキスト関係を効果的にアライメントできるか？
• RQ4 局所的コンテキスト関係一貫性は、既存のグローバルスケールアライメント手法とどのように相補的か？
• RQ5 CrCDAは、GTA5→CityscapesやSYNTHIA→Cityscapesといった困難なベンチマークで、どの程度セグメンテーション精度を向上させるか？

主な発見

• ResNet-101を用いたGTA5→Cityscapesベンチマークにおいて、CrCDAは48.6%のmIoUを達成し、従来の最先端手法（AdvEnt）を7.2%上回る。
• アブレーションスタディの結果、ピクセルレベル、局所スケール、グローバルスケールの適応を組み合わせることで最良の性能が得られ、CrCDA + グローバルアライメントでは46.1% mIoUを達成した。
• 定性的な結果から、CrCDAは低レベル特徴（例：物体境界）および高レベル特徴の両方を効果的にアライメントしているのに対し、AdvEntは低レベルの詳細を保持できないことが明らかになった。
• t-SNE可視化により、CrCDAはより判別力があり、ソースに類似したターゲット特徴分布を生成しており、局所的およびグローバルな一貫性が向上していることが確認された。
• 相補的スタディの結果、CrCDAは既存のグローバルアライメント手法を強化でき、CrCDA ∗ + GlobalAlignでは46.1% mIoUを達成し、グローバルアライメント単体よりも4.8%の向上を示した。
• 異なるネットワークアーキテクチャや設定において一貫した向上が得られたことから、本手法のロバストネスおよび一般化能力が確認された。