[論文レビュー] Multi-Target Domain Adaptation with Collaborative Consistency Learning

Takashi Isobe, Xu Jia+6 more|arXiv (Cornell University)|Jun 7, 2021

Domain Adaptation and Few-Shot Learning参考文献 41被引用数 13

ひとこと要約

本稿では、セマンティックセグメンテーションにおけるマルチターゲットドメイン適応のための協調一貫性学習フレームワークを提案する。複数のドメイン固有のエキスパートモデルが、クロスドメイン一貫性正則化を用いて訓練され、それらが共同で1つの学生モデルに知識蒸留を行う。本手法は、GTA5からCityscapes、IDD、Mapillaryのベンチマークにおいて、個々のドメイン適応モデルおよび先行するマルチターゲット適応手法を上回る最先端の性能を達成する。

ABSTRACT

Recently unsupervised domain adaptation for the semantic segmentation task has become more and more popular due to high-cost of pixel-level annotation on real-world images. However, most domain adaptation methods are only restricted to single-source-single-target pair, and can not be directly extended to multiple target domains. In this work, we propose a collaborative learning framework to achieve unsupervised multi-target domain adaptation. An unsupervised domain adaptation expert model is first trained for each source-target pair and is further encouraged to collaborate with each other through a bridge built between different target domains. These expert models are further improved by adding the regularization of making the consistent pixel-wise prediction for each sample with the same structured context. To obtain a single model that works across multiple target domains, we propose to simultaneously learn a student model which is trained to not only imitate the output of each expert on the corresponding target domain, but also to pull different expert close to each other with regularization on their weights. Extensive experiments demonstrate that the proposed method can effectively exploit rich structured information contained in both labeled source domain and multiple unlabeled target domains. Not only does it perform well across multiple target domains but also performs favorably against state-of-the-art unsupervised domain adaptation methods specially trained on a single source-target pair

研究の動機と目的

• セマンティックセグメンテーションにおける教師なしマルチターゲットドメイン適応（MTDA）の課題に対処すること。ここでは、1つのモデルが複数のラベルなしターゲットドメインに一般化できるようにする必要がある。
• 単一ソース・単一ターゲットドメイン適応の限界を克服すること。これは、複数のターゲットドメインに直接拡張できない。
• ドメイン固有のエキスパートモデル間での知識共有を可能にすることで、協調一貫性学習により一般化性能と性能を向上させること。
• 複数のエキスパートからのオンライン知識蒸留を活用することで、すべてのターゲットドメインで良好に動作する1つの強固な学生モデルを構築すること。
• ターゲットドメイン間およびソース・ターゲットペア間のドメイン間接続の利点を調査し、移行可能性とモデルのロバスト性を向上させること。

提案手法

• 各ターゲットドメインに対して、敵対的ドメイン適応と、同じコンテンツを異なるドメインスタイルで入力した際の予測の一貫性を保つための正則化損失を用いて、ドメイン固有のエキスパートモデルを訓練する。
• ソースおよびターゲット画像を各ターゲットドメインのスタイルに変換するためのスタイル変換ブリッジを構築し、異なるターゲットドメイン間でクロスドメイン一貫性学習を可能にする。
• 協調一貫性学習により、同じ意味的コンテンツだが異なるドメインスタイルを持つ画像に対して、エキスパートモデルが一貫したピクセル単位の予測を出力するように正則化することで、モデル間の合意を強制する。
• オンライン知識蒸留を用いて学生モデルを訓練し、それぞれのターゲットドメインでエキスパートモデルの出力を模倣すると同時に、エキスパートの重みと一致するように正則化する。
• 学生モデルが訓練中にエキスパートモデルと類似した重みを維持するよう促すための重み正則化損失を導入し、一般化性能を向上させる。
• フレームワークはエンドツーエンドで訓練可能であり、学生モデルが個々のエキスパートの特化知識と、クロスドメイン一貫性を通じて学習された共有不変性の両方の恩恵を受けることができる。

実験結果

リサーチクエスチョン

• RQ1 1つのモデルを、ドメイン固有の微調整を必要とせずに、複数のラベルなしターゲットドメインに一般化させることで効果的に訓練できるか？
• RQ2 複数のドメイン固有エキスパートモデルから得られる知識を、同時にすべてのターゲットドメインで性能向上が達成できるように効果的に統合できるか？
• RQ3 スタイルブリッジを用いて異なるドメインスタイル間で予測の一貫性を強制することで、標準的なドメイン適応よりも優れた一般化性能が得られるか？
• RQ4 複数のエキスパートからのオンライン知識蒸留により、個別にターゲットドメインごとに訓練されたモデルよりも、1つの学生モデルの性能が向上するか？
• RQ5 エキスパート間の協調学習、特にクロスドメイン一貫性を含めた場合、単純なアンサンブルや統合学習戦略に比べてどの程度性能が優れているか？

主な発見

• GTA5から適応する場合、本手法はCityscapesで46.7% mIoU、IDDで47.0%、Mapillaryで49.9%を達成し、個別にSTDAベースラインを適用した場合の43.3%、43.6%、45.8% mIoUを上回る。
• 実際のドメイン間（real-to-real）MTDA設定において、Cityscapesをソースとして使用した場合、Mapillaryで58.5% mIoUを達成し、ベースラインおよび先行手法を上回る。
• アブレーションスタディの結果、オンライン知識蒸留と重み正則化を組み合わせることで、ベースライン比でCityscapesで1.7%、IDDで1.8% mIoUが向上した。
• 協調一貫性学習コンponentのみを適用しても、ベースラインモデル比でCityscapesで1.0%、IDDで1.3% mIoUが向上した。
• 本手法は、すべてのターゲットドメインで個別エキスパートモデルおよび先行MTDA手法を常に上回り、優れた一般化性能とロバスト性を示している。
• 本フレームワークは、合成から実ドメイン、実ドメイン同士の両方を含むマルチターゲット適応ベンチマークで最先端の性能を達成している。