[論文レビュー] Instance Adaptive Self-Training for Unsupervised Domain Adaptation

Ke Mei, Chuang Zhu+2 more|arXiv (Cornell University)|Aug 27, 2020

Domain Adaptation and Few-Shot Learning参考文献 35被引用数 19

ひとこと要約

本稿では、セマンティックセグメンテーションにおける教師なしドメイン適応（UDA）のための新しい自己訓練フレームワーク、インスタンス適応的自己訓練（IAST）を提案する。本手法は、インスタンスレベルの信頼度に基づいて選択を動的に調整するインスタンス適応的セレクタを導入し、疑似ラベルの品質を向上させる。さらに、領域をガイドとする正則化を用いて予測を精緻化し、GTA5からCityscapes（52.2% mIoU）およびSYNTHIAからCityscapes（57.0% mIoU*）のベンチマークで最先端性能を達成した。このフレームワークは、さまざまな手法に高いスケーラビリティを示した。

ABSTRACT

The divergence between labeled training data and unlabeled testing data is a significant challenge for recent deep learning models. Unsupervised domain adaptation (UDA) attempts to solve such a problem. Recent works show that self-training is a powerful approach to UDA. However, existing methods have difficulty in balancing scalability and performance. In this paper, we propose an instance adaptive self-training framework for UDA on the task of semantic segmentation. To effectively improve the quality of pseudo-labels, we develop a novel pseudo-label generation strategy with an instance adaptive selector. Besides, we propose the region-guided regularization to smooth the pseudo-label region and sharpen the non-pseudo-label region. Our method is so concise and efficient that it is easy to be generalized to other unsupervised domain adaptation methods. Experiments on 'GTA5 to Cityscapes' and 'SYNTHIA to Cityscapes' demonstrate the superior performance of our approach compared with the state-of-the-art methods.

研究の動機と目的

• 教師なしドメイン適応（UDA）における疑似ラベル品質の向上により、セマンティックセグメンテーションのドメインシフトの課題に取り組む。
• 固定された信頼度閾値に起因する重複・低品質な疑似ラベルに起因する、従来の自己訓練手法の限界を克服する。
• モデル固有のアーキテクチャ変更を必要としない、スケーラブルでモジュール型のフレームワークを開発する。
• 汎用的な訓練戦略により、教師なし学習と半教師あり学習の両設定への効果的な適応を可能にする。

提案手法

• 個々のインスタンスの信頼度に基づいて疑似ラベル生成を動的に調整するインスタンス適応的セレクタを導入し、多様性を向上させるとともに、重複を低減する。
• 疑似ラベル領域内では予測を平滑化し、領域外では鋭くする領域ガイド正則化を採用し、空間的一致性を向上させる。
• 二段階の訓練パイプラインを採用：最初のウォームアップ段階では自己訓練を用いない手法（例：敵対的訓練）を適用し、その後に提案手法を用いた自己訓練を実施する。
• AdaptSeg や AdvEnt といった既存のUDA手法に本フレームワークを適用し、プラグアンドプレイの互換性と性能向上を実証した。
• 画像全体にわたるクラスごとのランクベースの信頼度戦略を用いて、高信頼度ピxlsに過剰に依存しないように、適応的セレクタを誘導する。
• 複雑なモジュール結合を避けることで、シンプルさと効率性を維持し、他のUDAおよび半教師あり学習タスクへの広範な適用性を実現した。

実験結果

リサーチクエスチョン

• RQ1 インスタンス適応的疑似ラベル生成戦略は、自己訓練におけるUDAの疑似ラベル品質と多様性を向上させることができるか？
• RQ2 教師なし環境（ターゲットドメインに真値がない状況）において、領域ガイド正則化は空間的一致性と予測精度を向上させるか？
• RQ3 提案されたIASTフレームワークは、アーキテクチャ変更なしに自己訓練を用いないUDA手法に対しても効果的に適用可能か？
• RQ4 GTA5-to-Cityscapes や SYNTHIA-to-Cityscapes といった困難なドメインシフトベンチマークにおいて、IASTは最先端手法と比較してどのように性能を発揮するか？
• RQ5 IASTは、ターゲットドメインで限られたラベルデータを有する半教師あり学習に拡張可能か？

主な発見

• IASTはGTA5-to-Cityscapesベンチマークで52.2% mIoUを達成し、前回の最先端手法BLFを1.4ポイント上回った。
• より困難なSYNTHIA-to-Cityscapesベンチマークでは、IASTは57.0% mIoU*を達成し、次に優れた手法を3.2ポイントも上回った。
• 自己訓練を用いないUDA手法に適用した場合、IASTはAdaptSeg [27] を+7.8% mIoU、AdvEnt [29] を+4.4% mIoU で向上させた。
• Cityscapesでラベルデータの半分（1/2）しか使用しなかった状況でも、IASTは69.8% mIoUを達成し、同条件での先行半教師あり手法を上回った。
• 本手法は強力な汎化性を示し、アーキテクチャ依存性がなく、高ドメインギャップおよび低ドメインギャップの両ベンチマークで性能向上を実現した。
• アブレーションスタディの結果、インスタンス適応的セレクタと領域ガイド正則化の両方が性能向上に顕著な寄与をしていることが確認された。