[論文レビュー] Domain Adaptation for Semantic Segmentation with Maximum Squares Loss

Minghao Chen, Hongyang Xue+1 more|arXiv (Cornell University)|Sep 30, 2019

Domain Adaptation and Few-Shot Learning参考文献 34被引用数 39

ひとこと要約

本論文は、セマンティックセグメンテーションの教師なしドメイン適応における確率の不均衡に対処するための最大平方損失（maximum squares loss）を提案し、難しいサンプルが意味のある勾配を受けられるようターゲットドメインのトレーニングを強化する（敵対的識別器を用いずに）。

ABSTRACT

Deep neural networks for semantic segmentation always require a large number of samples with pixel-level labels, which becomes the major difficulty in their real-world applications. To reduce the labeling cost, unsupervised domain adaptation (UDA) approaches are proposed to transfer knowledge from labeled synthesized datasets to unlabeled real-world datasets. Recently, some semi-supervised learning methods have been applied to UDA and achieved state-of-the-art performance. One of the most popular approaches in semi-supervised learning is the entropy minimization method. However, when applying the entropy minimization to UDA for semantic segmentation, the gradient of the entropy is biased towards samples that are easy to transfer. To balance the gradient of well-classified target samples, we propose the maximum squares loss. Our maximum squares loss prevents the training process being dominated by easy-to-transfer samples in the target domain. Besides, we introduce the image-wise weighting ratio to alleviate the class imbalance in the unlabeled target domain. Both synthetic-to-real and cross-city adaptation experiments demonstrate the effectiveness of our proposed approach. The code is released at https://github. com/ZJULearning/MaxSquareLoss.

研究の動機と目的

• セマンティックセグメンテーションにおける合成データから実データへの教師なしドメイン適応を実現することでラベリングコストを削減する動機付け。
• 転送が容易なサンプルへ勾配が偏ることによるUDAにおけるエントロピー最小化の制約を特定する。
• ターゲットドメインの勾配をバランスさせクラスごとの整合を改善するために最大平方損失を提案する。
• 画像毎の重み付けスキームとマルチレベルの自己生成ガイダンスを用いてターゲットドメインのクラス不均衡に対処し、低レベル特徴を強化する。

提案手法

• 最大平方損失をターゲット損失項として定義する: L_T(x_t) = -(1/2N) sum_n sum_c (p_t^{n,c})^2, これは容易/困難なサンプルをバランスさせる線形に成長する勾配を生む。
• 最大平方損失の最小化が、ターゲット予測と一様分布との間のピアソンカイ二乗発散を最大化することと同等であり、クラス別の分布整合を促進する。
• 予測されたクラスの存在に基づき画像ごとに計算される、無ラベルのターゲットドメインのクラス不均衡に対処する画像単位の重み付け係数を導入する。
• 高レベル出力と低レベル出力を組み合わせて低レベル特徴学習の疑似ガイダンスを生成する（自己生成ガイダンス）を導入する。
• ResNetベースのバックボーンとDeeplabv2風アーキテクチャを用い、画像レベルの重み付けとマルチレベルガイダンスの有無で実用的な訓練詳細とハイパーパラメータを提供する。

Figure 1 : In UDA, the gradient of the entropy minimization method ( $H$ ) is focused on well-classified samples in the target domain. Consequently, we propose the maximum squares loss ( $MS$ ), which is the negative sum of squared probabilities. The gradient of the maximum squares loss is linearly

実験結果

リサーチクエスチョン

• RQ1 ターゲットクラス間の勾配をバランスさせることで、セマンティックセグメンテーションのUDAにおけるエントロピー最小化のバイアスを最大平方損失は解決できるか？
• RQ2 ターゲットラベルなしで、画像ごとのクラスバランス重み付けスキームはターゲットドメインのクラス不均衡の取り扱いを改善するか？
• RQ3 高レベルの予測を用いて低レベル特徴学習をガイドすることで、マルチレベルの自己生成ガイダンス技術は性能をさらに向上させるか？

主な発見

• 最大平方損失はターゲットクラス間の勾配寄与をバランスさせ、エントロピー最小化と比較して難しいサンプルの訓練効率を改善する。
• 最大平方損失を最適化することは、一様分布に対するピアソンカイ二乗発散を最大化することに対応しており、ドメイン間のクラス別分布整合を促進する。
• 画像ごとのクラスバランス重み付けは、セマンティックセグメンテーションのUDAにおける従来のグローバルなクラス重み付けより性能を大幅に向上させる。
• マルチレベルの自己生成ガイダンスを追加することで、高レベルの予測を低レベル特徴学習のガイドに活用して顕著な性能向上をもたらす。
• GTA5/SYNTHIAからCityscapesへの合成データ → 実データ、および都市間適応全般で、MaxSquareベースの方法は識別器を必要とせず競争力のあるまたは最先端の結果を達成する。

Figure 2 : From GTA5 to Cityscapes, the mean of prediction probability v.s. Intersection over Union(IoU) for each target class. They are almost linearly related. Thus well-classified classes (high IoU) have larger prediction probability.