[論文レビュー] Differential Treatment for Stuff and Things: A Simple Unsupervised Domain Adaptation Method for Semantic Segmentation

Zhonghao Wang, Mo Yu+6 more|arXiv (Cornell University)|Mar 18, 2020

Domain Adaptation and Few-Shot Learning被引用数 19

ひとこと要約

本論文は、セマンティックセグメンテーションのための新しい教師なしドメイン適応手法を提案する。この手法は、スカイや道路などの「ストラクチャー（stuff）」と、車両や歩行者などの「モノ（things）」を別々に処理し、グローバル特徴ベクトルによるストラクチャー領域のアライメントと、インスタンスレベルのマッチングによるインスタンスのアライメントを実現する。最も類似したソース特徴への距離を最小化し、GANの訓練を安定化させることで、GTA5→Cityscapes（50.1）およびSYNTHIA→Cityscapes（52.1）ベンチマークで、新たなSOTAのmIoUスコアを達成した。

ABSTRACT

We consider the problem of unsupervised domain adaptation for semantic segmentation by easing the domain shift between the source domain (synthetic data) and the target domain (real data) in this work. State-of-the-art approaches prove that performing semantic-level alignment is helpful in tackling the domain shift issue. Based on the observation that stuff categories usually share similar appearances across images of different domains while things (i.e. object instances) have much larger differences, we propose to improve the semantic-level alignment with different strategies for stuff regions and for things: 1) for the stuff categories, we generate feature representation for each class and conduct the alignment operation from the target domain to the source domain; 2) for the thing categories, we generate feature representation for each individual instance and encourage the instance in the target domain to align with the most similar one in the source domain. In this way, the individual differences within thing categories will also be considered to alleviate over-alignment. In addition to our proposed method, we further reveal the reason why the current adversarial loss is often unstable in minimizing the distribution discrepancy and show that our method can help ease this issue by minimizing the most similar stuff and instance features between the source and the target domains. We conduct extensive experiments in two unsupervised domain adaptation tasks, i.e. GTA5 to Cityscapes and SYNTHIA to Cityscapes, and achieve the new state-of-the-art segmentation accuracy.

研究の動機と目的

• 合成されたソースデータ（例：GTA5、SYNTHIA）を実世界のターゲットデータ（例：Cityscapes）に適応する教師なしドメイン適応におけるドメインシフト問題に対処すること。
• すべての特徴を均等に扱うグローバルな敵対的損失の限界を克服し、訓練の反復回数が増えるにつれて不安定化し、性能が低下する問題を解消すること。
• 「ストラクチャー」カテゴリ（例：道路、空）はドメイン間で外観のばらつきが小さく、一方「モノ」（例：車両、人）はインスタンスレベルでの多様性が顕著であるため、異なる適応戦略を必要とすることを認識すること。
• ターゲットドメインのストラクチャー領域を、グローバルなソースドメインのクラス特徴に、ターゲットドメインのインスタンスを最も類似したソースドメインのインスタンスにマッチングさせることで、特徴のアライメントを向上させること。
• 最も類似したソース特徴とターゲット特徴の距離を明示的に最小化することで、GANベースの適応を安定化させ、過剰なアライメントを低減し、収束性を向上させること。

提案手法

• 『ストラクチャーとインスタンスのマッチング（SIM）』モジュールを導入し、『ストラクチャー』と『モノ』を別々に処理する：ストラクチャーに対しては、アライメントにグローバルなクラスレベル特徴ベクトルを用い、モノに対しては、各ターゲットインスタンスを最も類似したソースインスタンスにマッチングする。
• ストラクチャーおよびインスタンスの両方において、最も類似したソース特徴とターゲット特徴の距離を最小化するL1損失を適用し、グローバルな分布マッチングに比べてより正確で安定した適応を実現する。
• 訓練中に効率的かつ最新のマッチングを可能にするために、固定数（w=50）の最近のソースドメイン特徴サンプルを格納するメモリバンクを用いる。
• 出力空間における敵対的適応フレームワークにSIMモジュールを統合し、敵対的損失とセグメンテーション損失と組み合わせて、特徴アライメントとセグメンテーション精度を同時に最適化する。
• ターゲットドメインに対して高信頼度の疑似ラベルを生成し、モデルを再訓練することで自己教師型学習を適用し、性能をさらに向上させる。

実験結果

リサーチクエスチョン

• RQ1 『ストラクチャー』と『モノ』の間で外観ばらつきが異なることを考慮することで、教師なしドメイン適応におけるセマンティックセグメンテーションの性能をどのように向上させられるか？
• RQ2 標準的なGANベースの敵対的訓練は、なぜセマンティックセグメンテーションのドメイン適応において長期にわたり不安定化するのか？
• RQ3 グローバルな分布マッチングに比べ、最も近いソース・ターゲット特徴の距離を明示的に最小化することで、アライメント精度が向上し、過剰なアライメントが低減するか？
• RQ4 『ストラクチャー』と『モノ』に対する別々の処理が、GTA5→Cityscapes や SYNTHIA→Cityscapes といった標準ベンチマークでより良い性能をもたらすか？
• RQ5 提案されたSIMモジュールと組み合わせた自己教師型疑似ラベル付けにより、モデル性能がさらに向上するか？

主な発見

• 提案されたSIM手法は、GTA5→Cityscapesベンチマークで50.1の新たなSOTAのmIoUを達成し、先行手法を上回った。
• SYNTHIA→Cityscapesベンチマークでは、52.1の新たなSOTAのmIoUを達成し、ソースドメインでのみ学習した際のベースライン（38.6）と比べて顕著に向上した。
• アブレーションスタディの結果、SIMモジュールの追加により、敵対的訓練のみの場合のmIoU（46.0）から47.1に向上したことが示され、その有効性が裏付けられた。
• 最適なハイパーパramータ設定では、λ_ci = 0.01 および w = 50（保存されるソース特徴サンプル数）が用いられ、特徴の多様性とモデルの最新性のバランスが取れた。
• 高信頼度の疑似ラベル付けを用いた自己教師型学習により、性能がさらに向上し、SYNTHIA→CityscapesでmIoUが47.1から52.1に上昇した。これは、本手法のスケーラビリティとロバスト性を確認するものである。