[論文レビュー] Pin the Memory: Learning to Generalize Semantic Segmentation

Jin Kim, Jiyoung Lee+3 more|ArXiv.org|Apr 7, 2022

Domain Adaptation and Few-Shot Learning被引用数 6

ひとこと要約

本稿では、セマンティックセグメンテーションにおけるドメイン一般化のためのメモリガイドドメタラーニングフレームワーク「Pin the Memory」を提案する。メモリモジュールを通じてドメインに依存しないカテゴリカル知識を学習し、メモリの分散と特徴の凝集損失を最適化することで、再訓練なしに未学習ドメインにおいて最先端の一般化性能を達成し、既存のドメイン一般化手法を上回り、マルチソースドメイン適応の性能に匹敵する。

ABSTRACT

The rise of deep neural networks has led to several breakthroughs for semantic segmentation. In spite of this, a model trained on source domain often fails to work properly in new challenging domains, that is directly concerned with the generalization capability of the model. In this paper, we present a novel memory-guided domain generalization method for semantic segmentation based on meta-learning framework. Especially, our method abstracts the conceptual knowledge of semantic classes into categorical memory which is constant beyond the domains. Upon the meta-learning concept, we repeatedly train memory-guided networks and simulate virtual test to 1) learn how to memorize a domain-agnostic and distinct information of classes and 2) offer an externally settled memory as a class-guidance to reduce the ambiguity of representation in the test data of arbitrary unseen domain. To this end, we also propose memory divergence and feature cohesion losses, which encourage to learn memory reading and update processes for category-aware domain generalization. Extensive experiments for semantic segmentation demonstrate the superior generalization capability of our method over state-of-the-art works on various benchmarks.

研究の動機と目的

• ドメインシフトの課題に対処すること。これは、分布のずれにより、モデルが未学習ドメインで失敗するためである。
• ドメインに依存しないクラス固有の知識を、カテゴリカルメモリとして要約することで一般化性能を向上させること。
• 微調整や再訓練なしに、任意の未学習ドメインへのゼロショット適応を可能にすること。
• メモリガイドドメタラーニングと補完的な損失関数を用いて表現の頑健性を向上させること。

提案手法

• 本手法は、ドメインシフトを模倣するために、ソースドメインデータをメタトレーニングおよびメタテストセットに分割するメタラーニングフレームワークを採用する。
• 学習可能なメモリモジュールが、ドメインに依存しないセマンティッククラスのプロトタイプを格納し、未学習ドメインにおける推論時に外部ガイドとして機能する。
• メタテスト中に専用ネットワークを介してメモリが更新され、モデルが堅牢なメモリの読み取りおよび更新戦略を学習できるようにする。
• 2つの新しい損失関数を導入する：メモリの分離性を向上させるためのメモリ分散損失と、ドメイン不変特徴を促進するための特徴凝集損失。
• エピソード学習を用いて未学習ドメインの状態を模倣し、不一致したデータ分布下でエンコーダーとメモリ更新ネットワークを同時に学習する。
• 推論時には、事前に学習済みのメモリを用いて特徴表現をガイドすることで、未学習ドメインにおける曖昧さを低減する。

Figure 1 : The illustration of our memory-guided meta-learning algorithm for domain generalization. Our method learns how to memorize domain-agnostic categorical knowledge that can provide an external guide to the test data in unseen target domain.

実験結果

リサーチクエスチョン

• RQ1 ドメインに依存しないカテゴリカル知識を格納するメモリモジュールが、未学習ドメインにおけるセマンティックセグメンテーションの一般化性能を向上させることができるか？
• RQ2 模倣されたドメインシフトを用いたメタラーニングが、メモリガイドド特徴表現の頑健性をどのように向上させるか？
• RQ3 メモリ分散損失と特徴凝集損失がドメイン一般化性能に果たす寄与度は何か？
• RQ4 メモリガイドドメタラーニングは、ターゲットドメインデータにアクセスできない状況でも、マルチソースドメイン適応の性能に匹敵する成果を達成できるか？

主な発見

• 提案手法は、Cityscapes、COCO-Stuff、BDD100Kを含む複数のベンチマークでドメイン一般化設定下で最先端の性能を達成した。
• メモリ分散損失と特徴凝集損失の組み合わせにより、CityscapesではMLDGより2.1% mIoU向上し、COCO-Stuffでは1.8%向上した。
• IBN-Net、RobustNet、MLDGといった強力なベースラインをすべてのデータセットで上回り、優れた一般化能力を示した。
• t-SNE可視化により、メモリガイドドアプローチを用いることで、未学習ドメインからの特徴がより明確に分離され、曖昧さが低減していることが確認された。
• 推論速度は13.56msを維持し、パラメータ数（45.22M）とFLOPs（277.69）の増加もわずかであり、コスト効率が優れていることが示された。
• 除去実験では、メモリ更新とメタラーニングの両方が不可欠であることが判明し、いずれかを削除すると性能が著しく低下した。

Figure 2 : Overall training process of our method, consisting of domain split, meta-training and meta-testing steps for every iteration.