[論文レビュー] Test-time Fourier Style Calibration for Domain Generalization

Xingchen Zhao, Chang Liu+3 more|arXiv (Cornell University)|May 13, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、推論時におけるフォーリエ分解を用いて、ソースドメインのプロトタイプを介してターゲットドメインのスタイル特徴を補正するTest-time Fourier Style Calibration (TF-Cal)を提案する。同時に、スタイルの多様性を向上させるためのAugment Amplitude Features (AAF)を導入する。この手法は、トレーニング時にターゲットドメインデータを必要とせず、リアルタイムでのスタイルアライメントによってドメインギャップを低減するため、画像分類および医療画像セグメンテーションのベンチマークで最先端の性能を達成する。

ABSTRACT

The topic of generalizing machine learning models learned on a collection of source domains to unknown target domains is challenging. While many domain generalization (DG) methods have achieved promising results, they primarily rely on the source domains at train-time without manipulating the target domains at test-time. Thus, it is still possible that those methods can overfit to source domains and perform poorly on target domains. Driven by the observation that domains are strongly related to styles, we argue that reducing the gap between source and target styles can boost models' generalizability. To solve the dilemma of having no access to the target domain during training, we introduce Test-time Fourier Style Calibration (TF-Cal) for calibrating the target domain style on the fly during testing. To access styles, we utilize Fourier transformation to decompose features into amplitude (style) features and phase (semantic) features. Furthermore, we present an effective technique to Augment Amplitude Features (AAF) to complement TF-Cal. Extensive experiments on several popular DG benchmarks and a segmentation dataset for medical images demonstrate that our method outperforms state-of-the-art methods.

研究の動機と目的

• ドメインシフトのため、未観測のターゲットドメインでモデルが失敗する深層学習におけるドメイン一般化を解決すること。
• 従来のドメイン一般化手法がトレーニング時にソースドメインデータにのみ依存しており、未知のターゲットドメインに適応できないという制限を克服すること。
• 特徴のフォーリエ変換を用いて、推論時にターゲットドメインのスタイルをソースドメインのスタイルにアライメントさせることでドメインギャップを低減すること。
• ドメインラベルを必要とせず、トレーニング時にターゲットドメインデータを必要としない、シンプルだが効果的な推論時補正と特徴拡張メカニズムにより、モデルの一般化性能を向上させること。

提案手法

• 本手法は、フォーリエ変換を用いて、初期畳み込み特徴を振幅（スタイル）と位相（意味的特徴）に分解する。
• Test-time Fourier Style Calibration (TF-Cal)は、ソースドメイン特徴から得られるプロトタイプを用いて、ターゲットドメインの振幅特徴を凸的に補正する。
• ソースドメインのプロトタイプはトレーニング時に推定され、推論時に使用され、ターゲットドメインのスタイルをソースドメインのスタイルにアライメントさせる。
• Augment Amplitude Features (AAF)は、特徴空間における振幅特徴の拡張により、高レベルのスタイル表現の多様性を高め、モデルのロバスト性を向上させる。
• TF-CalとAAFは統合され、トレーニング時にドメインラベルやターゲットドメインデータを必要とせず、推論時に適用されるTAF-Calに統合される。
• 本手法はアーキテクチャに依存せず、任意のCNNバックボーンに統合可能である。

実験結果

リサーチクエスチョン

• RQ1 推論時にリアルタイムでスタイルを補正することで、ドメイン一般化において未観測のターゲットドメインへの一般化性能が向上するか？
• RQ2 特徴を振幅（スタイル）と位相（意味的特徴）にフォーリエ分解することで、ドメインギャップ低減がどのように実現されるか？
• RQ3 特徴空間における振幅特徴の拡張は、画像空間での拡張を越えてモデルの一般化性能を向上させるか？
• RQ4 CNNアーキテクチャ内でのTF-Calの適用に最適な位置とハイパーパramータ設定は何か？
• RQ5 TF-CalとAAFは、多様なベンチマークにおいてどのように相乗効果をもたらすか？

主な発見

• TAF-CalはPACSベンチマークで最先端の性能を達成し、ResNet-50を用いたトップ-1正解率86.73%を記録した。
• TF-Cal単体でも、ResNet-18を用いた場合に85.70%のトップ-1正解率を達成し、多数の既存手法を上回った。
• アブレーションスタディの結果、性能向上を得るためにはTF-Calを推論時に適用する必要があることが確認された。トレーニング時での適用のみでは顕著な向上が得られなかった。
• AAF単体でもPACSで85.69%の正解率を達成し、FACT（83.44%）を上回り、特徴空間における振幅拡張の有効性を示した。
• TF-Calの最適なハイパーパramータ設定はη = τ = 0.5であり、より大きな値は過剰な補正により性能を低下させることが分かった。
• t-SNE可視化の結果、TF-Calはターゲットドメインに対して明確で分離されたクラスタを生成する一方、AAF単体では境界がぼやけることが確認され、TF-Calがアライメント性と識別性の両方を向上させることを示した。