[論文レビュー] Cluster, Split, Fuse, and Update: Meta-Learning for Open Compound Domain Adaptive Semantic Segmentation

Rui Gong, Yuhua Chen+6 more|arXiv (Cornell University)|Dec 15, 2020

Domain Adaptation and Few-Shot Learning参考文献 64被引用数 3

ひとこと要約

本稿では、合成から実画像へのドメイン適応を対象とするセマンティックセグメンテーションのためのメタラーニングフレームワークMOCDAを提案する。この手法は、ターゲット画像をスタイルでクラスタリングし、ドメイン固有のブランチに分割し、ハイパーネットを用いて入力画像のスタイルに応じて予測を動的に統合する。さらに、MAMLを用いてオンラインでのモデル更新を可能にし、性能を向上させる。本手法は、合成から実画像へのベンチマークで最先端の性能を達成しており、複合ドメインでは31.4%のmIoU、オープンドメインでは31.2%のmIoUを達成した。

ABSTRACT

Open compound domain adaptation (OCDA) is a domain adaptation setting, where target domain is modeled as a compound of multiple unknown homogeneous domains, which brings the advantage of improved generalization to unseen domains. In this work, we propose a principled meta-learning based approach to OCDA for semantic segmentation, MOCDA, by modeling the unlabeled target domain continuously. Our approach consists of four key steps. First, we cluster target domain into multiple sub-target domains by image styles, extracted in an unsupervised manner. Then, different sub-target domains are split into independent branches, for which batch normalization parameters are learnt to treat them independently. A meta-learner is thereafter deployed to learn to fuse sub-target domain-specific predictions, conditioned upon the style code. Meanwhile, we learn to online update the model by model-agnostic meta-learning (MAML) algorithm, thus to further improve generalization. We validate the benefits of our approach by extensive experiments on synthetic-to-real knowledge transfer benchmark datasets, where we achieve the state-of-the-art performance in both compound and open domains.

研究の動機と目的

• ターゲットが未知で多様なサブドメインの混合であるオープン複合ターゲットドメインにおいて、セマンティックセグメンテーションの一般化を課題とする。
• 従来のドメイン適応手法が単一の固定ターゲットドメインを仮定しており、未観測ドメインへの一般化に欠けるという限界を克服する。
• 教師なしスタイルクラスタリングとドメイン固有のバッチ正規化を用いて、複合ターゲットドメインを連続的な多様体としてモデル化するアプローチを開発する。
• メタ学習で得たモデル更新を用いて推論中にオンライン適応を可能にし、未観測ドメインへの一般化を向上させる。
• セマンティックセグメンテーションにおける複合ドメインおよびオープンドメイン適応設定の両方で、最先端の性能を達成する。

提案手法

• バックボーンネットワークから抽出した教師なし画像スタイル特徴を用いて、ラベルなしのターゲットドメインを複数のサブターゲットドメインにクラスタリングする。
• 各クラスタごとに独立したブランチにネットワークを分割し、サブドメインの特性をモデル化するためのドメイン固有のバッチ正規化（BN）統計を学習する。
• 入力画像のスタイルコードに応じて、異なるサブドメインブランチからの予測を動的に統合するためのハイパーネットを用いる。
• 融合モジュールと更新モジュールを、モデルに依存しないメタラーニング（MAML）を用いて訓練し、推論時に1ステップの勾配更新で高速適応を可能にする。
• 融合モジュールのロバスト性と一般化性能を向上させるために、訓練中に教師なしエントロピー損失を統合する。
• MAMLに基づくメタ最適化を用いて推論中にオンラインでのモデル更新を可能にし、最小限のデータで未観測ドメインに適応できるようにする。

実験結果

リサーチクエスチョン

• RQ1 メタラーニングを用いることで、セマンティックセグメンテーションにおいて複合ターゲットドメインをサブドメインの連続的多様体として効果的にモデル化できるか？
• RQ2 サブドメイン予測の動的かつスタイルに依存する統合戦略は、固定または非適応的統合戦略と比較して、性能をどのように向上させるか？
• RQ3 MAMLを用いたオンラインモデル更新は、セマンティックセグメンテーションにおける未観測オープンドメインへの一般化をどの程度向上させるか？
• RQ4 教師なしスタイルクラスタリングは、多様なターゲットドメイン画像を意味的かつ均質なサブドメインに効果的にグループ化できるか？
• RQ5 クラスタリング、分割、統合、オンライン更新モジュールの組み合わせが、オープン複合ドメイン適応において最先端の性能を達成できるか？

主な発見

• MOCDAは、複合ドメイン（SYNTHIA-SF → BDD100K）で31.4%のmIoUを達成し、以前の最先端手法AdaptSegNetを2.3%上回った。
• オープンドメイン（KITTI, WildDash, Cityscapes）では31.2%のmIoUを達成し、オンライン更新なしのモデルと比較して1.1%の向上を示した。
• ハイパーネットを用いた適応的統合戦略は27.7%のmIoUを達成し、非適応的ベースライン（23.1–26.6%）を最大4.6%上回った。
• 融合モジュールに教師なしエントロピー損失を追加することで、性能が27.1%から27.3%に向上し、ロバスト性向上の有効性が示された。
• オンライン更新機構は、Cityscapesで+2.3%、WildDashで+1.3%のmIoU向上をもたらし、オープンセット一般化における有効性を確認した。
• 定性的な結果から、MOCDAは多様な天候条件や未観測ドメインにおいて、より正確で一貫性のあるセグメンテーションマスクを生成していることが示された。