[論文レビュー] Multiple Fusion Adaptation: A Strong Framework for Unsupervised Semantic Segmentation Adaptation

Kai Zhang, Yifan Sun+3 more|arXiv (Cornell University)|Dec 1, 2021

Domain Adaptation and Few-Shot Learning参考文献 23被引用数 5

ひとこと要約

本論文は、セマンティックセグメンテーションのための新しい教師なしドメイン適応フレームワーク、Multiple Fusion Adaptation (MFA) を提案する。MFA は、協調学習フレームワーク内に、オンライン・オフラインの偽ラベル統合、クロスモデル統合、時間的統合の3つの並列的統合戦略を統合している。MFA は、追加のアノテーションなしで、ラベルなしのターゲットドメインにおけるセグメンテーション精度を著しく向上させ、GTA5 から Cityscapes への移行で 58.2% の mIoU、SYNTHIA から Cityscapes への移行で 62.5% の mIoU を達成し、最先端の性能を実現した。

ABSTRACT

This paper challenges the cross-domain semantic segmentation task, aiming to improve the segmentation accuracy on the unlabeled target domain without incurring additional annotation. Using the pseudo-label-based unsupervised domain adaptation (UDA) pipeline, we propose a novel and effective Multiple Fusion Adaptation (MFA) method. MFA basically considers three parallel information fusion strategies, i.e., the cross-model fusion, temporal fusion and a novel online-offline pseudo label fusion. Specifically, the online-offline pseudo label fusion encourages the adaptive training to pay additional attention to difficult regions that are easily ignored by offline pseudo labels, therefore retaining more informative details. While the other two fusion strategies may look standard, MFA pays significant efforts to raise the efficiency and effectiveness for integration, and succeeds in injecting all the three strategies into a unified framework. Experiments on two widely used benchmarks, i.e., GTA5-to-Cityscapes and SYNTHIA-to-Cityscapes, show that our method significantly improves the semantic segmentation adaptation, and sets up new state of the art (58.2% and 62.5% mIoU, respectively). The code will be available at https://github.com/KaiiZhang/MFA.

研究の動機と目的

• 追加のアノテーションを必要とせずに、ラベルありのソースドメインとラベルなしのターゲットドメインの間のドメインギャップを解消すること。
• 従来の偽ラベル手法が静的でオフラインの偽ラベルに依存するため、しばしば重要なハードサンプルを無視するという限界を克服すること。
• オンライン予測（協調学習者から得られるもの）、オフラインの偽ラベル、時間的に平均化されたモデルという複数の監視信号を統合することで、自己学習の効率性と耐性を向上させること。
• 3つの補完的統合メカニズム（時間的統合、クロスモデル統合、オンライン・オフライン統合）を同時に活用する統一フレームワークを構築し、モデルの汎化性能と偽ラベル品質を向上させること。

提案手法

• 2つのモデル（Net A と Net B）を用いた協調学習フレームワークを採用し、それぞれのモデルが自身のオフライン偽ラベルと、協調学習者によって生成されたオンライン偽ラベルによって協調的に監視される。
• 協調学習者のモーメンタム平均化バージョンを用いてオンライン偽ラベルを生成することで、オンライン・オフライン偽ラベル統合を導入し、オフラインラベルが無視するハードで情報量の多いサンプルを動的に捉える。
• 時間的統合を、現在のモデルとそのモーメンタム平均化された対応モデルとの一貫性損失として実装することで、トレーニングの安定性を高め、偽ラベルのノイズを低減する。
• 両モデルが共同でオフライン偽ラベルを生成することでクロスモデル統合を実現し、自己学習プロセスにおけるラベル品質の向上とバイアスの低減を図る。
• オンライン・オフライン統合、クロスモデル統合、時間的統合の3つの統合戦略を統合した単一で効率的なフレームワークを採用する一貫したトレーニングパイプラインを構築する。
• 協調学習者の最新のパラメータを活用して、より正確で動的なオンライン偽ラベルを生成することで、反復的自己学習におけるノイズの多い監視への露出を低減する。

実験結果

リサーチクエスチョン

• RQ1 教師なしドメイン適応におけるセマンティックセグメンテーションの偽ラベル品質と多様性をどのように向上させられるか？
• RQ2 トレーニング中にリアルタイムに生成されるオンライン偽ラベルは、従来のオフライン偽ラベルにどのように補完的役割を果たし、難易度の高いセグメンテーション領域を捉えるか？
• RQ3 オンライン・オフライン統合、クロスモデル統合、時間的統合という複数の統合メカニズムを統合することで、モデルの耐性と適応性能がどのように相乗的に向上するか？
• RQ4 2段階のUDAパイプラインにおいて、各統合戦略が最終的なセグメンテーション精度に果たす相対的寄与度はどの程度か？
• RQ5 動的ラベル統合を備えた提案された協調学習フレームワークは、標準的な自己学習ベースラインおよび既存のSoTA手法を、標準ベンチマークで上回るか？

主な発見

• MFA は、GTA5 から Cityscapes ベンチマークで 58.2% の mIoU を達成し、以前の手法を大きく上回る新たなSoTAを樹立した。
• SYNTHIA から Cityscapes ベンチマークでも、MFA は 62.5% の mIoU を達成し、新たなSoTAを記録し、ドメインシフトに強い汎化性能を示した。
• アブレーションスタディの結果、時間的統合、クロスモデル統合、オンライン・オフライン統合の3つの統合コンポONENTの組み合わせが、基本的な自己学習ベースラインに対して 10.1% の mIoU 向上をもたらした。
• オンライン・オフライン偽ラベル統合が最も顕著な貢献を示し、基本自己学習ベースライン比で +7.1% の mIoU 向上を達成した。これは、ハードサンプルを効果的に捉える有効性を示している。
• クロスモデル統合と時間的統合の導入により、それぞれ +6.1% および +5.0% の追加向上が得られ、両者の補完的役割が明確に示された。
• モーメンタム平均化された協調学習者を用いた協調学習フレームワークにより、オンライン偽ラベル生成が安定化し、自己学習中のノイズ低減と収束性の向上が達成された。