[論文レビュー] FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization

Kecheng Zheng, Yang Cao+3 more|arXiv (Cornell University)|Mar 24, 2022

Neural Networks and Applications被引用数 5

ひとこと要約

本稿では、ドメイン一般化のための周波数に敏感なMLP型アーキテクチャFAMLPを提案する。この手法は、ドメイン固有の高周波成分を抑制するための学習可能なフーリエフィルタを適用し、重要な低周波成分を保持するための低ランク強化モジュールを組み合わせることで、ドメイン不変表現を向上させる。本手法は、3つのベンチマークで最先端の性能を達成し、従来手法よりも3–9%の向上を示し、異種データ設定下でも優れたロバスト性と一般化性能を示す。

ABSTRACT

MLP-like models built entirely upon multi-layer perceptrons have recently been revisited, exhibiting the comparable performance with transformers. It is one of most promising architectures due to the excellent trade-off between network capability and efficiency in the large-scale recognition tasks. However, its generalization performance to heterogeneous tasks is inferior to other architectures (e.g., CNNs and transformers) due to the extensive retention of domain information. To address this problem, we propose a novel frequency-aware MLP architecture, in which the domain-specific features are filtered out in the transformed frequency domain, augmenting the invariant descriptor for label prediction. Specifically, we design an adaptive Fourier filter layer, in which a learnable frequency filter is utilized to adjust the amplitude distribution by optimizing both the real and imaginary parts. A low-rank enhancement module is further proposed to rectify the filtered features by adding the low-frequency components from SVD decomposition. Finally, a momentum update strategy is utilized to stabilize the optimization to fluctuation of model parameters and inputs by the output distillation with weighted historical states. To our best knowledge, we are the first to propose a MLP-like backbone for domain generalization. Extensive experiments on three benchmarks demonstrate significant generalization performance, outperforming the state-of-the-art methods by a margin of 3%, 4% and 9%, respectively.

研究の動機と目的

• 異種ドメインシフト環境下で、ドメイン固有の特徴が転移性能を妨げるMLP型モデルの一般化性能の低さを是正すること。
• 周波数が固定されたフィルタリングの限界を克服し、入力ドメインの特性に適応する学習可能なアダプティブ周波数フィルタを導入すること。
• 特徴マップの特異値分解（SVD）を用いて抽出した主要な低周波成分を統合することで、フィルタリング後の特徴を再構築する低ランク強化（LRE）モジュールを統合し、重要な低周波成分を保持すること。
• 重み付きの歴史的モデル状態を用いたモーメンタムベースの distillation 戦略により、最適化を安定化させ、パラメータおよび入力の変動に対するロバスト性を向上させること。
• 従来はCNNやTransformerに支配されていたドメイン一般化のための強力で効率的なMLPベースのバックボーンを確立すること。

提案手法

• FAMLPフレームワークは、各MLPブロックの前にアダプティブフーリエフィルタレイヤーを統合し、高速フーリエ変換（FFT）を用いて空間特徴を周波数ドメインに変換する。
• 実部および虚部の両方の周波数特徴に学習可能な周波数フィルタを適用することで、ドメインに適応した高周波成分の抑制が可能となり、ドメイン固有の情報を含む高周波成分を効果的に低減する。
• 低ランク強化（LRE）モジュールは、特徴マップの特異値分解（SVD）から抽出した主要な低周波成分を統合することで、フィルタリング後の特徴を再構築する。
• モーメンタム更新戦略により、歴史的モデル状態の重み付き平均から不変特徴を蒸留し、最適化を安定化させ、ロバスト性を向上させる教師ネットワークを形成する。
• 全アーキテクチャはクロスエントロピー損失と、学生の予測を蒸留された教師出力と一致させる知識蒸留損失の両方を用いて訓練される。
• 本手法はエンドツーエンドで訓練可能であり、標準的なMLPブロックと互換性があり、既存のMLP型バックボーンへのプラグアンドプレイ統合が可能である。

実験結果

リサーチクエスチョン

• RQ1 学習可能な周波数フィルタは、MLP型モデルにおけるドメイン固有の高周波成分を効果的に抑制し、ドメイン一般化を向上させることができるか？
• RQ2 周波数フィルタリング後の特徴の整合性を向上させるために、低ランク強化の統合はドメインシフトの文脈でどのように機能するか？
• RQ3 モーメンタムベースの蒸留戦略は、ドメイン一般化において最適化の安定性を高め、入力およびパラメータの変動に対するロバスト性を向上させる程度はどの程度か？
• RQ4 MLP型アーキテクチャは、CNN や Transformer と同等またはそれを上回るドメイン一般化の最先端性能を達成できるか？
• RQ5 特にモーメンタムおよび蒸留部におけるハイパーパrameter選択に対して、本手法はどの程度感受性を示すか？

主な発見

• FAMLPは3つのドメイン一般化ベンチマークで最先端の性能を達成し、PACS、Office-Home、Digits-Domain それぞれで従来手法を3%、4%、9%上回った。
• アダプティブフーリエフィルタは、ドメイン間で一貫した抑制パターンを示し、ドメイン内では高周波成分が顕著に低減され、ドメイン間で異なる応答を示すことで、ドメインに敏感なフィルタリングが実現していることが確認された。
• 低ランク強化モジュールは、低周波成分の過剰な抑制を効果的に緩和し、識別に必要な情報を保持することで、特徴品質の向上に寄与した。
• モーメンタム更新戦略により最適化が安定化し、入力およびパラメータの変動に対する感受性が低減され、一貫した性能向上が得られた。
• 本手法はハイパーパrameterの変動に対して頑健であり、λmd、τmd、η の異なる設定においても性能変化はわずかにとどまり、強力な一般化性能と安定性を示した。
• アブレーションスタディにより、学習可能な周波数フィルタと低ランク強化の両方が独立して寄与するとともに、相乗効果を発揮しており、平均して1.32%および0.42%の向上が確認された。