[論文レビュー] Style Normalization and Restitution for Domain Generalization and Adaptation

Xin Jin, Cuiling Lan+2 more|arXiv (Cornell University)|Jan 3, 2021

Domain Adaptation and Few-Shot Learning参考文献 84被引用数 8

ひとこと要約

本稿では、インスタンス正規化を用いてドメイン固有のスタイル変動をフィルタリングし、残差からタスクに適した判別特徴を回復することで、コンピュータビジョンにおけるドメイン一般化および教師なしドメイン適応の性能を向上させるためのスタイル正規化と回復（SNR）モジュールを提案する。本手法は、二重回復損失を用いてスタイルに依存しない特徴とタスクに必要な特徴を分離することで、分類、セマンティックセグメンテーション、オブジェクト検出のベンチマークにおいて最先端の性能を達成する。

ABSTRACT

For many practical computer vision applications, the learned models usually have high performance on the datasets used for training but suffer from significant performance degradation when deployed in new environments, where there are usually style differences between the training images and the testing images. An effective domain generalizable model is expected to be able to learn feature representations that are both generalizable and discriminative. In this paper, we design a novel Style Normalization and Restitution module (SNR) to simultaneously ensure both high generalization and discrimination capability of the networks. In the SNR module, particularly, we filter out the style variations (e.g, illumination, color contrast) by performing Instance Normalization (IN) to obtain style normalized features, where the discrepancy among different samples and domains is reduced. However, such a process is task-ignorant and inevitably removes some task-relevant discriminative information, which could hurt the performance. To remedy this, we propose to distill task-relevant discriminative features from the residual (i.e, the difference between the original feature and the style normalized feature) and add them back to the network to ensure high discrimination. Moreover, for better disentanglement, we enforce a dual causality loss constraint in the restitution step to encourage the better separation of task-relevant and task-irrelevant features. We validate the effectiveness of our SNR on different computer vision tasks, including classification, semantic segmentation, and object detection. Experiments demonstrate that our SNR module is capable of improving the performance of networks for domain generalization (DG) and unsupervised domain adaptation (UDA) on many tasks. Code are available at https://github.com/microsoft/SNR.

研究の動機と目的

• トレーニング環境とテスト環境の間で生じる照明や色のコントラストといったスタイル変動に起因するドメインシフトを解消すること。
• ドメイン一般化（DG）設定のように、ターゲットドメインのラベルに依存せずにモデルの一般化性能を向上させること。
• 教師なしドメイン適応（UDA）における性能低下を、ドメイン固有のスタイル変動を低減しつつ判別に適した特徴を保持することで軽減すること。
• 新しい特徴回復メカニズムを用いて、タスクに適した特徴とタスクに不適切な特徴をより良く分離すること。
• アーキテクチャの大幅な見直しを伴わずに、深層ネットワークの一般化と判別性能を向上させるプラグアンドプレイモジュールを開発すること。

提案手法

• 入力特徴にインスタンス正規化（IN）を適用し、照明やコントラストなどのスタイル変動を正規化することでドメイン差を低減する。
• 元の特徴と正規化後の特徴の残差を計算し、正規化過程で失われたタスクに必要な判別的情報を捉える。
• 残差を再び加算することで元の特徴表現を再構築し、判別能力を回復する。
• タスクに不適切な成分のエントロピーを最小化し、タスクに適した成分のエントロピーを最大化することで、分離を促進する二重回復損失を導入する。
• 訓練時に二重ブランチ構造を用いて回復損失を計算し、推論時には補助ブランチを破棄する。
• ResNetおよびDRNバックボーンの畳み込みブロックの後にSNRモジュールを挿入し、複数のビジョンタスクにわたるエンドツーエンド学習を実現する。

Figure 1: Due to the differences in environments (such as lighting/camera/place/weather), the captured images present style discrepancy, such as the illumination, color contrast/saturation, quality, imaging style. These result in domain gaps between the training and testing data.

実験結果

リサーチクエスチョン

• RQ1 一元的なモジュールは、ドメインシフト下での深層ネットワークにおける一般化と判別性能の両方を向上させ得るか？
• RQ2 スタイル正規化後に、どのようにしてタスクに適した特徴を効果的に回復させ、性能低下を防ぐことができるか？
• RQ3 スタイルに依存しない特徴とタスクに必要な特徴を分離することで、ドメイン一般化および適応性能がどの程度向上するか？
• RQ4 提案された二重回復損失は、標準的な正規化や再構築手法と比較して、より優れた特徴分離を実現するか？
• RQ5 SNRモジュールは、分類、セグメンテーション、検出といった多様なビジョンタスクに効果的に適用可能か？

主な発見

• SNRモジュールは、ミニ-DomainNetベンチマークで最先端の性能を達成し、ドメイン一般化設定においてベースライン手法比最大2.1%の精度向上を実現した。
• フルドメインネットデータセットにおいて、SNRを適用したResNet-152は、ドメイン一般化設定下でベースライン比1.8%高いトップ-1精度を達成した。
• セマンティックセグメンテーションでは、DRN-D-105を用いたGTA5からCityscapesへの移行設定でmIoUが3.4%向上し、SYNTHIAからCityscapesへの移行設定で2.9%向上した。
• CityscapesからFoggy CityscapesおよびCityscapesからKITTIへのオブジェクト検出ベンチマークにおいて、SNRモジュールはmAPをそれぞれ2.7%および2.1%向上させた。
• アブレーションスタディの結果、二重回復損失は分離性能を顕著に向上させ、単一損失の変種と比較して1.5%の精度向上を示した。
• SNRモジュールは、分類、セグメンテーション、検出の全タスクにおいて一貫して性能向上を示し、広範な適用可能性を裏付けた。

Figure 2: Overall flowchart. (a) Our generalizable feature learning network with the proposed Style Normalization and Restitution (SNR) module being plugged in after some convolutional blocks. Here, we use ResNet-50 as our backbone for illustration. (b) Proposed SNR module. Instance Normalization (I