[論文レビュー] ESL: Entropy-guided Self-supervised Learning for Domain Adaptation in Semantic Segmentation

Antoine Saporta, Tuan-Hung Vu+2 more|arXiv (Cornell University)|Jun 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 26被引用数 33

ひとこと要約

ESLは、意味セグメンテーションの無監督ドメイン適応における疑似ラベルの信頼性指標としてエントロピーを用い、自己訓練を改善し、複数のベンチマークで最先端の結果を達成する。

ABSTRACT

While fully-supervised deep learning yields good models for urban scene semantic segmentation, these models struggle to generalize to new environments with different lighting or weather conditions for instance. In addition, producing the extensive pixel-level annotations that the task requires comes at a great cost. Unsupervised domain adaptation (UDA) is one approach that tries to address these issues in order to make such systems more scalable. In particular, self-supervised learning (SSL) has recently become an effective strategy for UDA in semantic segmentation. At the core of such methods lies `pseudo-labeling', that is, the practice of assigning high-confident class predictions as pseudo-labels, subsequently used as true labels, for target data. To collect pseudo-labels, previous works often rely on the highest softmax score, which we here argue as an unfavorable confidence measurement. In this work, we propose Entropy-guided Self-supervised Learning (ESL), leveraging entropy as the confidence indicator for producing more accurate pseudo-labels. On different UDA benchmarks, ESL consistently outperforms strong SSL baselines and achieves state-of-the-art results.

研究の動機と目的

• 密なターゲット注釈なしにドメインシフト下で頑健な意味セグメンテーションを動機づける。
• ターゲットドメインの高品質な疑似ラベルを構築するためにエントロピーを信頼度指標として活用する。
• エントロピー誘導の疑似ラベリングを反復的なドメイン整合/自己訓練フレームワークに組み込む。
• 合成から実データへのドメイン適応ベンチマーク全体で、ソフトマックスベースのSSLベースラインを上回る改善を示す。

提案手法

• 識別器DとセグメンテーションモデルFを用いた対立的ドメイン整合を中核のUDAメカニズムとして採用する。
• Fを、ソースセグメンテーション損失と、ターゲット予測をソースドメインと整合させる対立的損失の和を最小化するように訓練する。
• Fからターゲット画像上で疑似ラベルを生成し、それを用いてFをさらに訓練する自己教師付き学習ステップを反復する。
• 標準的なソフトマックスベースの疑似ラベリングを、エントロピーに基づく疑似ラベル抽出に置換し、クラスごとにエントロピー閾値でターゲットピクセルをフィルタリングする。
• エントロピーを E = - (1/log C) sum_c P(c) log P(c) として定義し、信頼できる疑似ラベルを選択するためにクラスごとのエントロピー閾値を用いる。
• データセット固有のヒューリスティック値を用いたmu*（ソフトマックス用）とnu*（エントロピー用）の閾値を用い、ラベル量と品質のバランスを取る。

実験結果

リサーチクエスチョン

• RQ1 エントロピーは、意味セグメンテーションのSSLベースUDAにおけるターゲット疑似ラベルの選択において、最大ソフトマックス確率より信頼性の高い信頼度代理指標となり得るか。
• RQ2 エントロピー誘導疑似ラベリングは疑似ラベルの品質を向上させ、ターゲットドメインのセグメンテーション性能に測定可能な改善をもたらすか。
• RQ3 ESLは既存のドメイン整合戦略（例：対立的出力空間整合や特徴空間整合）とどのように相互作用するか。
• RQ4 異なるドメインシフト（synthetic-to-realデータセット）全体でのエントロピーに基づく疑似ラベル選択の頑健なガイドライン（閾値）は何か。

主な発見

• エントロピーに基づく疑似ラベリングは、複数のUDAベンチマークで堅牢なSSLベースラインを一貫して上回る。
• ESLは、テスト設定で最先端の結果をもたらし、mean IoU指標でソフトマックスベースの疑似ラベリングを上回る。
• エントロピー基準は境界領域や不確かな領域をより効果的にフィルタリングし、誤った疑似ラベルによる確証バイアスを低減する。
• 既存の対立的ドメイン整合手法と組み合わせた場合、エントロピー誘導疑似ラベリングを伴うESLの1回の反復で顕著な向上をもたらす。
• エントロピー基づく疑似ラベリングは、容易なクラスで誤った疑似ラベルを減らし、クリーンな自己訓練信号に寄与する。