[論文レビュー] Domain Adaptation for Semantic Segmentation via Class-Balanced Self-Training

Yang Zou, Zhiding Yu+2 more|arXiv (Cornell University)|Oct 18, 2018

Domain Adaptation and Few-Shot Learning参考文献 43被引用数 50

ひとこと要約

この論文は、反復的自己学習を用いた意味セグメンテーションの教師なしドメイン適応フレームワークを提案する。クラスバランスを考慮した自己学習（CBST）と、空間事前情報を用いた CBST（CBST-SP）を導入し、クラス不均衡と空間構造の課題に対処する。synthetic-to-real およびクロスシティのドメインシフトで最先端あるいは競争力のある成果を達成する。

ABSTRACT

Recent deep networks achieved state of the art performance on a variety of semantic segmentation tasks. Despite such progress, these models often face challenges in real world `wild tasks' where large difference between labeled training/source data and unseen test/target data exists. In particular, such difference is often referred to as `domain gap', and could cause significantly decreased performance which cannot be easily remedied by further increasing the representation power. Unsupervised domain adaptation (UDA) seeks to overcome such problem without target domain labels. In this paper, we propose a novel UDA framework based on an iterative self-training procedure, where the problem is formulated as latent variable loss minimization, and can be solved by alternatively generating pseudo labels on target data and re-training the model with these labels. On top of self-training, we also propose a novel class-balanced self-training framework to avoid the gradual dominance of large classes on pseudo-label generation, and introduce spatial priors to refine generated labels. Comprehensive experiments show that the proposed methods achieve state of the art semantic segmentation performance under multiple major UDA settings.

研究の動機と目的

• 現実世界でのドメインシフトがある設定における密な意味セグメンテーションのための教師なしドメイン適応を動機づける。
• ターゲットラベルを潜在的な擬似ラベルとして扱い、それをモデルパラメータとともに共同最適化する自己学習フレームワークを開発する。
• 擬似ラベルのクラス不均衡に対処するため、class-balanced self-training (CBST) を導入する。
• ソース/ターゲットドメインがレイアウトを共有する場合、空間的事前情報によって擬似ラベルの品質を向上させる。

提案手法

• 擬似ラベル推定とネットワーク訓練を深い自己訓練ループの中で統一された損失最小化問題として扱う。
• 最も自信のある擬似ラベルを段階的に選択する自己ペース学習スキームを導入する（ST）。
• クラスごとの信頼度を正規化してクラス間の擬似ラベル生成を均衡化することで CBST を提案する。
• 擬似ラベル選択に空間的クラス priors qn(c) を組み込むことで CBST-SP のバリアントを導出する。
• 各ラウンドでの擬似ラベルの包含を制御するペース配分パラメータ k とクラスウェイト kc を決定する実用的なアルゴリズムを提供する。
• 必要に応じて CBST-SP をマルチスケールテスト（MST）と組み合わせてさらなる利得を狙う。

実験結果

リサーチクエスチョン

• RQ1 敵対的訓練を用いない自己学習は、意味セグメンテーションの教師なしドメイン適応において競争力のある/最先端の性能を達成できるか。
• RQ2 クラス間で擬似ラベルをバランスさせる CBST は、従来の自己学習と比較して転送が難しいクラスの改善につながるか。
• RQ3 ソース/ターゲットが類似のシーンレイアウトを共有する場合、空間的事前情報は役立つか（CBST-SP）。
• RQ4 ST、CBST、CBST-SP は synthetic-to-real（GTA5/SYNTHIA→Cityscapes）および cross-city（Cityscapes→NTHU）のドメインシフトでどう性能を示すか？

主な発見

• CBST および CBST-SP は、synthetic-to-real およびクロスシティのシフトを含む主要なUDA設定で最先端または競争力のある性能を達成する。
• GTA5→Cityscapes で ResNet-38 を用いた場合、CBST は mean IoU 46.2%、MST（マルチスケールテスト）では mean IoU が 47.0% に達する。
• CBST はクラスごとの転送難易度に対処することで vanilla ST を上回り、特に転送が初めは難しかったクラスの改善をもたらす。
• CBST-SP はソースとターゲットの空間的レイアウトが共有されると適応をさらに改善し、報告された設定でベースライン手法を上回る。
• SYNTHIA→Cityscapes において、ResNet-38 を用いた CBST は優れた性能を達成し、ST を顕著に上回る（例: 最高値の方法より +1.7 mIoU など）。