[論文レビュー] Cross-View Regularization for Domain Adaptive Panoptic Segmentation

Jiaxing Huang, Dayan Guan+2 more|arXiv (Cornell University)|Mar 3, 2021

Domain Adaptation and Few-Shot Learning参考文献 67被引用数 12

ひとこと要約

本稿では、インスタンスセグメンテーションとセマンティックセグメンテーションの間の相互タスク正則化（ITR）と、オンライン画像スタイル化を用いた相互スタイル正則化（ISR）を活用することで、ドメイン間の特徴アライメントを向上させる、新たなドメイン適応的パノプティックセグメンテーションフレームワークであるクロスビュー正則化ネットワーク（CVRN）を提案する。この手法は、合成データから実データ、および実データから実データへのドメイン適応ベンチマークで最先端の性能を達成し、複数のUDA手法においてmPQが3.3ポイント以上向上している。

ABSTRACT

Panoptic segmentation unifies semantic segmentation and instance segmentation which has been attracting increasing attention in recent years. However, most existing research was conducted under a supervised learning setup whereas unsupervised domain adaptive panoptic segmentation which is critical in different tasks and applications is largely neglected. We design a domain adaptive panoptic segmentation network that exploits inter-style consistency and inter-task regularization for optimal domain adaptive panoptic segmentation. The inter-style consistency leverages geometric invariance across the same image of the different styles which fabricates certain self-supervisions to guide the network to learn domain-invariant features. The inter-task regularization exploits the complementary nature of instance segmentation and semantic segmentation and uses it as a constraint for better feature alignment across domains. Extensive experiments over multiple domain adaptive panoptic segmentation tasks (e.g., synthetic-to-real and real-to-real) show that our proposed network achieves superior segmentation performance as compared with the state-of-the-art.

研究の動機と目的

• セマンティックセグメンテーションとインスタンスセグメンテーションを統合するパノプティックセグメンテーションにおける、未教師付きドメイン適応の不足を解消すること。
• セマンティックとインスタンスセグメンテーションを別々に学習すると性能が最適でない問題を、両者の補完的性質を活用することで克服すること。
• ターゲットドメインのアノテーションに依存せずに、ソース（例：合成）ドメインとターゲット（例：実画像）ドメイン間のドメインシフトを緩和すること。
• 同一画像のスタイライズドビュー間の幾何的一致性を利用した自己教師付き正則化メカニズムを構築すること。
• 合成から実へのドメイン移行や実から実へのドメイン移行を含む、多様なドメイン移行タスクにおいて効果的な適応を可能にすること。

提案手法

• インスタンスセグメンテーションとセマンティックセグメンテーションの補完的強みを活用して、両者の疑似ラベルを共同正則化する相互タスク正則化器（ITR）を提案する。例えば、セマンティックセグメンテーションが「ストゥッフ」領域をガイドし、インスタンスセグメンテーションが「スモール」領域の予測を向上させる。
• 同一画像の複数のスタイライズドバージョンを異なるビューとみなして、幾何的一致性を強制することで、ドメイン不変特徴を学習する相互スタイル正則化器（ISR）を設計する。
• オンライン画像スタイライズドを用いて、1つの入力画像から多様なスタイルバリエーションを生成し、マルチビュー自己学習の監督を可能にする。
• 未ペairedのターゲットドメイン画像上で、ITRおよびISRで精練された疑似ラベルを用いて自己訓練と一貫性正則化を組み合わせて、パノプティックセグメンテーションモデルを学習する。
• トレーニング中に相互タスクおよび相互スタイルの一貫性を同時に最適化できる統合フレームワークに、クロスビュー正則化器を統合する。
• SYNTHIA→Cityscapesを含む、複数のドメイン適応タスクに本手法を適用し、アブレーションスタディにより各モジュールの寄与度を検証する。

実験結果

リサーチクエスチョン

• RQ1 インスタンスセグメンテーションとセマンティックセグメンテーションの間の相互タスク正則化が、その補完的性質を活かしてドメイン適応的パノプティックセグメンテーションを向上させることができるか？
• RQ2 同一画像の複数のスタイライズドビュー間の幾何的一致性を強制することで、特徴のアライメントとドメイン一般化が向上するか？
• RQ3 提案されたクロスビュー正則化フレームワークは、既存の未教師付きドメイン適応手法と効果的に組み合わせられ、性能をさらに向上させることができるか？
• RQ4 本手法は、さまざまなパノプティックセグメンテーションアーキテクチャやドメインシフトのシナリオにおいて、どれほど頑健であるか？
• RQ5 本手法は、合成から実、実から実へのドメイン適応ベンチマークにおいて、最先端の手法をどれほど上回るか？

主な発見

• CVRNは、SYNTHIA→Cityscapesドメイン適応ベンチマークで最先端の性能を達成し、すべての指標で既存手法を上回っている。
• 3つの異なるUDAベースライン（FDA、AdvEnt、CRST）と統合した場合、mPQが3.3ポイント以上向上した。
• PFPNアーキテクチャでは、CVRNが31.4のmPQを達成し、ベースラインのMTSTより4.6ポイント、Source-onlyより9.9ポイント向上した。
• UPSNetアーキテクチャでは、CVRNが34.0のmPQを達成し、MTSTより6.5ポイント、Source-onlyより10.7ポイント向上した。
• アブレーションスタディにより、ITRとISRの両方が性能向上に顕著に寄与していることが確認され、ITRは「スモール」領域でより大きな向上を、ISRは「ストゥッフ」領域でより大きな向上を示した。
• 本手法は、既存のUDA技術と非常に相乗効果を発揮し、敵対的学習、画像変換、自己学習を含む、さまざまな適応戦略において一貫して性能を向上させた。