[論文レビュー] Feature Stylization and Domain-aware Contrastive Learning for Domain Generalization

Seogkyu Jeon, Kibeom Hong+3 more|arXiv (Cornell University)|Aug 19, 2021

Domain Adaptation and Few-Shot Learning参考文献 60被引用数 4

ひとこと要約

本稿では、クラスの意味を保持したまま、学習されたドメイン固有の統計を用いて深層特徴をスタイル化することで、新規ドメインを生成するドメイン一般化フレームワークを提案する。特徴を高周波成分と低周波成分に分解し、低周波成分のみをスタイル化し、ドメインに適した対照学習損失を適用することで、PACSおよびOffice-Homeベンチマークで最先端の性能を達成し、従来手法に比べてより高いロバスト性と一般化性能を示した。

ABSTRACT

Domain generalization aims to enhance the model robustness against domain shift without accessing the target domain. Since the available source domains for training are limited, recent approaches focus on generating samples of novel domains. Nevertheless, they either struggle with the optimization problem when synthesizing abundant domains or cause the distortion of class semantics. To these ends, we propose a novel domain generalization framework where feature statistics are utilized for stylizing original features to ones with novel domain properties. To preserve class information during stylization, we first decompose features into high and low frequency components. Afterward, we stylize the low frequency components with the novel domain styles sampled from the manipulated statistics, while preserving the shape cues in high frequency ones. As the final step, we re-merge both components to synthesize novel domain features. To enhance domain robustness, we utilize the stylized features to maintain the model consistency in terms of features as well as outputs. We achieve the feature consistency with the proposed domain-aware supervised contrastive loss, which ensures domain invariance while increasing class discriminability. Experimental results demonstrate the effectiveness of the proposed feature stylization and the domain-aware contrastive loss. Through quantitative comparisons, we verify the lead of our method upon existing state-of-the-art methods on two benchmarks, PACS and Office-Home.

研究の動機と目的

• トレーニング中にターゲットドメインデータにアクセスできない状況下で、ディープラーニングにおけるドメインシフトを解消すること。
• 既存のドメイン一般化手法がドメイン合成時に最適化の困難さや意味的歪みに直面するという制限を克服すること。
• トレーニング中に多様で新規のドメインスタイルを生成しつつ、クラスの判別情報を保持すること。
• 特徴と出力の一貫性を新たな対照学習目的関数を用いて強化することで、モデルのロバスト性を向上させること。

提案手法

• 本手法は、バッチ単位の特徴統計を操作することで、新規のドメインスタイルをサンプリングし、標準偏差の再スケーリングによって外れ値に近いスタイルベクトルを強調する。
• 周波数分解技術を用いて、特徴を高周波成分（形状の手がかり）と低周波成分（テクスチャ／スタイル）に分解する。
• アフィン変換を用いて、サンプルされたドメインスタイルで低周波成分のみをスタイル化し、高周波成分の構造的情報を保持する。
• スタイル化された低周波成分と元の高周波成分を再結合して、新規ドメイン特徴を生成する。
• ドメインに適した教師あり対照学習損失を導入し、ドメイン間で特徴と出力の一貫性を強制するとともに、クラスの判別性を向上させる。
• 特徴スタイル化ブロックをResNetアーキテクチャの2番目の残差ブロックの直後に配置することで、低レベルと高レベルの特徴表現のバランスを最適化する。

実験結果

リサーチクエスチョン

• RQ1 ターゲットデータにアクセスできない状況下で、統計的ドメインスタイルに基づく特徴スタイル化は、未観測ドメインへの一般化を向上させることができるか？
• RQ2 新規ドメインを合成する際、特徴スタイル化においてクラスの意味をどのように保持できるか？
• RQ3 ディープニューラルネットワーク内での特徴スタイル化の最適な配置と成分は何か？
• RQ4 標準的な対照学習と比較して、ドメインに適した対照学習損失はモデルのロバスト性と一般化性能を向上させるか？
• RQ5 特徴の再スケーリングのスケールは、スタイル化された特徴における形状とテクスチャ情報のトレードオフにどのように影響するか？

主な発見

• Office-Homeベンチマークでは、本手法が平均85.86%の正確度を達成し、ベースラインより2.32ポイント向上した。
• PACSデータセットでは、本手法が平均83.95%の正確度を達成し、ベースラインより0.41ポイント向上した。
• アブレーションスタディの結果、低周波成分のみをスタイル化するアプローチが最良の性能を示し、高周波成分をスタイル化する手法と比較して0.39ポイントの向上を確認した。
• 特徴再スケーリングの最適なスケールパラメータは10と特定され、形状とテクスチャの手がかりの利用をバランスよく保証した。
• 特徴スタイル化ブロックを2番目の残差ブロックの直後に配置した場合が最も高い性能を示し、この層が構造的および意味的情報を最適に統合していると示唆された。
• ドメインに適した対照学習損失は一般化性能を顕著に向上させ、スタイル化と組み合わせた場合、標準的な対照学習に比べて平均2.26ポイントの正確度向上を達成した。