[論文レビュー] Generalizable Semantic Segmentation via Model-agnostic Learning and Target-specific Normalization

Jian Zhang, Qi Lei+2 more|arXiv (Cornell University)|Mar 27, 2020

Domain Adaptation and Few-Shot Learning被引用数 14

ひとこと要約

本稿では、分類の一般化を向上させるために、モデルに依存しない学習とターゲット固有の正規化を組み合わせたドメイン一般化フレームワークを提案する。トレーニング中にドメインシフトをシミュレートし、推論時にターゲットドメインの統計に合わせて正規化統計を適応させることで、CityscapesおよびMapillaryベンチマークで最先端の性能を達成した。

ABSTRACT

Semantic segmentation methods in the supervised scenario have achieved significant improvement in recent years. However, when directly deploying the trained model to segment the images of unseen (or new coming) domains, its performance usually drops dramatically due to the data-distribution discrepancy between seen and unseen domains. To overcome this limitation, we propose a novel domain generalization framework for the generalizable semantic segmentation task, which enhances the generalization ability of the model from two different views, including the training paradigm and the data-distribution discrepancy. Concretely, we exploit the model-agnostic learning method to simulate the domain shift problem, which deals with the domain generalization from the training scheme perspective. Besides, considering the data-distribution discrepancy between source domains and unseen target domains, we develop the target-specific normalization scheme to further boost the generalization ability in unseen target domains. Extensive experiments highlight that the proposed method produces state-of-the-art performance for the domain generalization of semantic segmentation on multiple benchmark segmentation datasets (i.e., Cityscapes, Mapillary). Furthermore, we gain an interesting observation that the target-specific normalization can benefit from the model-agnostic learning scheme.

研究の動機と目的

• ドメインシフトの影響により、未観測ドメインにモデルを展開した際のセマンティックセグメンテーション性能の低下を解消すること。
• モデルに依存しない学習アプローチを用いてトレーニング中にドメインシフトをシミュレートすることで、モデルの一般化性能を向上させること。
• ソースドメインと未観測ターゲットドメイン間のデータ分布の乖離を、ターゲット固有の正規化スキームにより低減すること。
• トレーニング時にターゲットドメインのラベルを必要とせずに、ドメイン外のテストセットにおける一般化性能を向上させること。

提案手法

• メタ学習の目的関数を最適化することで、多様なドメイン分布にわたる頑健性を促進するメタ学習の目的を用いて、トレーニング中にドメインシフトをシミュレートするモデルに依存しない学習を適用する。
• 推論時にターゲットドメインの統計に基づいてバッチ正規化統計を適応させる、ターゲット固有の正規化層を導入する。
• 複数のソースドメインにわたる期待誤差を最小化するメタ最適化スキームを用いて、セグメンテーションバックボーンをトレーニングする。
• ドメインに依存しない特徴学習を用いて、モデルがドメイン固有のアーティファクトではなく、意味的コンテンツに注目するように促進する。
• 2段階のトレーニングプロセスを採用する：まず、ソースドメインでモデルを事前学習し、次にターゲット固有の正規化層を用いてファインチューニングする。
• ターゲットドメインの特徴レベル統計を活用して正規化パラメータを補正し、未観測ドメインへの適応性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 モデルに依存しない学習は、ドメインシフトを効果的にシミュレートし、セマンティックセグメンテーションにおける一般化を向上させることができるか？
• RQ2 ターゲット固有の正規化は、未観測ターゲットドメインにおける性能を顕著に向上させるか？
• RQ3 モデルに依存しない学習とターゲット固有の正規化の組み合わせは、個々のコンponentと比較して一般化性能にどのように影響を与えるか？
• RQ4 提案手法は、セマンティックセグメンテーションの標準的なドメイン一般化ベンチマークで最先端の性能を達成できるか？

主な発見

• 提案手法は、セマンティックセグメンテーションにおけるドメイン一般化のCityscapesおよびMapillaryベンチマークで最先端の性能を達成した。
• モデルに依存しない学習とターゲット固有の正規化の統合により、未観測ドメインにおけるベースライン手法と比較して顕著な性能向上が得られた。
• モデルに依存しない学習と組み合わせたターゲット固有の正規化は顕著な改善を示し、相乗効果があることが示唆された。
• 本手法は、トレーニング時に観測しなかったドメインに対しても良好に一般化され、ドメインシフトに対して頑健であることが実証された。