[論文レビュー] Deliberated Domain Bridging for Domain Adaptive Semantic Segmentation

Lin Chen, Zhixiang Wei+5 more|arXiv (Cornell University)|Sep 16, 2022

Domain Adaptation and Few-Shot Learning被引用数 16

ひとこと要約

本稿では、二重パスのデータミキシング（粗い領域レベルおよび細かいクラスレベル）とクロスパス知識蒸留を組み合わせることで、段階的にソースドメインとターゲットドメインを整合させる、ドメイン適応的セマンティックセグメンテーションのための新規手法Deliberated Domain Bridging（DDB）を提案する。DDBは、二つの補完的教師モデルの訓練とそれらの知識を一つの学生モデルに蒸留するプロセスを交互に繰り返し、複数のベンチマークで最先端の性能を達成し、G→C設定ではmIoUが最大62.7%まで向上した。

ABSTRACT

In unsupervised domain adaptation (UDA), directly adapting from the source to the target domain usually suffers significant discrepancies and leads to insufficient alignment. Thus, many UDA works attempt to vanish the domain gap gradually and softly via various intermediate spaces, dubbed domain bridging (DB). However, for dense prediction tasks such as domain adaptive semantic segmentation (DASS), existing solutions have mostly relied on rough style transfer and how to elegantly bridge domains is still under-explored. In this work, we resort to data mixing to establish a deliberated domain bridging (DDB) for DASS, through which the joint distributions of source and target domains are aligned and interacted with each in the intermediate space. At the heart of DDB lies a dual-path domain bridging step for generating two intermediate domains using the coarse-wise and the fine-wise data mixing techniques, alongside a cross-path knowledge distillation step for taking two complementary models trained on generated intermediate samples as 'teachers' to develop a superior 'student' in a multi-teacher distillation manner. These two optimization steps work in an alternating way and reinforce each other to give rise to DDB with strong adaptation power. Extensive experiments on adaptive segmentation tasks with different settings demonstrate that our DDB significantly outperforms state-of-the-art methods. Code is available at https://github.com/xiaoachen98/DDB.git.

研究の動機と目的

• セマンティックセグメンテーションのような密予測タスクにおける既存のドメインブリッジング手法の限界に対処する。特に、スタイル変換に基づく手法はアーティファクトを引き起こし、ラベル空間の整合性を保てない点に起因する。
• ターゲットドメインにおける意味的整合性を保ちつつ、クラスの混同を低減する、より効果的で意図的なドメインブリッジング戦略を開発する。
• データミキシングによる補完的中間表現の構築を通じて、ソースからターゲットドメインへの段階的知識移転を実現する。
• 二重パスドメインブリッジとクロスパス知識蒸留を組み合わせた新規な交互最適化フレームワークを通じて、適応性能を向上させる。

提案手法

• 二重パスドメインブリッジ（DPDB）は、粗い領域レベルのミキシング（例：CutMix）と細かいクラスレベルのミキシング（例：ClassMix）を用いて二つの中間ドメインを構築し、それぞれのパスで専門家教師モデルを訓練する。
• クロスパス知識蒸留（CKD）は、二つの教師モデルを用いて未ラベルのターゲットデータ上で単一の学生モデルをガイドする。ハード蒸留と適応的アンサンブル方式を活用することで、一般化性能を向上させる。
• DPDBとCKDのステップは訓練中に交互に繰り返され、教師と学生モデルの間で相互に強化しあうことで、ドメイン差を段階的に低減する。
• 本手法は、局所的置換に基づくデータミキシングを活用し、グローバルな補間手法にありがちなピクセル単位の曖昧さを回避しながら、オブジェクトレベルの意味的整合性を維持する。
• 自己訓練パイプラインを用いてエンドツーエンドで訓練され、学生モデルは教師モデルから生成された疑似ラベルを繰り返し用いて改善される。
• CKDにおける適応的アンサンブル方式は、両教師モデルの予測を動的に組み合わせることで、学生モデルのロバスト性を向上させ、クラスバイアスを低減する。

実験結果

リサーチクエスチョン

• RQ1 データミキシング技術は、単なる増強のためのものではなく、セマンティックセグメンテーションの文脈で意図的なドメインブリッジメカニズムとして再利用可能か？
• RQ2 粗粒度と細粒度のデータミキシングは、どのようにして密予測タスクにおけるドメイン整合性を向上させるか？
• RQ3 二重パスブリッジとクロスパス蒸留の間で交互最適化を実施することで、ドメイン適応的セマンティックセグメンテーションにおける知識移転とモデル一般化性能が向上するか？
• RQ4 ハード蒸留と適応的アンサンブルを用いたクロスパス知識蒸留は、標準的なソフト蒸留や単一パス知識移転を上回る性能を発揮するか？

主な発見

• G→Cベンチマークでは、DPDBとCKDを2ラウンド交互に実行した後、学生モデルが62.7%のmIoUを達成し、ソースオンリーベースラインの32.1%を著しく上回った。
• 教師モデルのクロスパスアンサンブルはG→C設定で58.2%のmIoUを達成し、粗いミキシングと細かいミキシングのパスが補完的であることを示した。
• CKDでハード蒸留と適応的アンサンブルを用いることで、標準的なソフト蒸留に比べ1.3 mIoUの性能向上が得られ、蒸留戦略の有効性が裏付けられた。
• すべてのベンチマークで、学生モデルは2回目の訓練ラウンドでピーク性能に達し、複数ソースおよび複数ターゲット設定におけるドメインの衝突により、以降のラウンドでわずかな性能低下が見られた。
• アブレーションスタディの結果、二重パスで訓練されたモデルは一重パスのモデルを常に上回り、クロスパスアンサンブルは優れたロバスト性と低いクラス混同を示した。