[論文レビュー] ALOFT: A Lightweight MLP-like Architecture with Dynamic Low-frequency Transform for Domain Generalization

Jintao Guo, Na Wang+2 more|arXiv (Cornell University)|Mar 21, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、ドメイン一般化のための軽量なMLP型アーキテクチャであるALOFTを提案する。このアーキテクチャは、ドメイン固有のテクスチャ特徴を抑制しながらも、グローバルな構造表現を保持することで、モデルのロバスト性を向上させる動的低周波数変換を備えている。周波数ドメインフィルタリングと学習可能な低周波スペクトル摂動機構を活用することで、従来のCNNベースの手法と比較して顕著に少ないパラメータ数で最先端の性能を達成している。

ABSTRACT

Domain generalization (DG) aims to learn a model that generalizes well to unseen target domains utilizing multiple source domains without re-training. Most existing DG works are based on convolutional neural networks (CNNs). However, the local operation of the convolution kernel makes the model focus too much on local representations (e.g., texture), which inherently causes the model more prone to overfit to the source domains and hampers its generalization ability. Recently, several MLP-based methods have achieved promising results in supervised learning tasks by learning global interactions among different patches of the image. Inspired by this, in this paper, we first analyze the difference between CNN and MLP methods in DG and find that MLP methods exhibit a better generalization ability because they can better capture the global representations (e.g., structure) than CNN methods. Then, based on a recent lightweight MLP method, we obtain a strong baseline that outperforms most state-of-the-art CNN-based methods. The baseline can learn global structure representations with a filter to suppress structure irrelevant information in the frequency space. Moreover, we propose a dynAmic LOw-Frequency spectrum Transform (ALOFT) that can perturb local texture features while preserving global structure features, thus enabling the filter to remove structure-irrelevant information sufficiently. Extensive experiments on four benchmarks have demonstrated that our method can achieve great performance improvement with a small number of parameters compared to SOTA CNN-based DG methods. Our code is available at https://github.com/lingeringlight/ALOFT/.

研究の動機と目的

• MLPとCNNアーキテクチャのドメイン一般化タスクにおける性能差を調査すること。
• CNNに内在するテクスチャバイアスが、未学習ドメインへの一般化を制限する要因となる理由を解明すること。
• グローバル構造表現を強化するとともに、ドメイン固有のテクスチャ特徴を抑制する、軽量でパラメータ効率の良いアーキテクチャを開発すること。
• トレーニング中に多様なドメインシフトを模倣するための動的低周波スペクトル変換を設計すること。
• 少数のパラメータで最先端のドメイン一般化性能を達成する、小型で効率的なモデルを実現すること。

提案手法

• 本手法は、パッチ間における自己注意メカニズムに類似した仕組みを通じてグローバル画像表現を学習する、軽量なMLPベースのバックボーン（GFNet）に基づく。
• 構造に寄与しないドメイン固有のテクスチャ情報を抑制するため、周波数ドメインに学習可能なフィルタを導入する。
• 推定された分布から再サンプリングすることで、低周波成分を動的に摂動させる、新規の動的低周波スペクトル変換（ALOFT）を提案する。
• 低周波成分はガウス分布を用いてモデル化し、グローバル構造を保持したまま、多様で現実的な摂動を生成する。
• トレーニング段階で周波数ドメインフィルタリングと動的スペクトル拡張を適用することで、ドメイン不変特徴の学習を促進する。
• 標準的な交差エントロピー損失を用いてエンドツーエンドで学習し、データ拡張にマスク率0.5を用いる。

実験結果

リサーチクエスチョン

• RQ1 MLPベースのアーキテクチャは、未学習ドメインに一般化する能力において、CNNとどのように異なるか？
• RQ2 なぜMLPベースのモデルは、CNNと比較してドメイン一般化タスクで優れた一般化性能を示すのか？
• RQ3 周波数ドメインフィルタリングは、グローバル構造を保持しつつ、ドメイン固有のテクスチャ特徴を効果的に抑制できるか？
• RQ4 動的低周波スペクトル摂動は、ドメインシフトに対するロバスト性をどのように向上させるか？
• RQ5 軽量なMLPベースのモデルは、パラメータ数を大幅に減らしながらも、最先端のCNNベースのドメイン一般化手法を上回ることができるか？

主な発見

• GFNetバックボーンを用いたPACSベンチマークにおいて、ALOFTは平均91.58%の精度を達成し、SOTAのCNNベース手法を上回った。
• アート、コマック、スケッチ、リアリスティックなドメインのすべてにおいて一般化性能が向上し、特にスケッチおよびアートドメインで顕著な向上が見られた。
• 低周波スペクトルノイズ生成にガウス分布を用いることで最良の性能が得られ、一様分布やランダムノイズ分布を上回った。
• 動的低周波スペクトル変換（ALOFT）は、画像レベル（Mixup, CutMix）および特徴レベル（MixStyle, DSU）の拡張手法と比較して、モデルの一般化性能を顕著に向上させた。
• マスク率0.5という小さな値でも、過学習を伴わず強い性能を維持しており、効果的なデータ拡張が可能であることが示された。
• 周波数解析の結果、MLPベースのモデルがグローバル構造をより効果的に捉えていることが確認され、これがドメイン一般化タスクにおける優れた一般化性能の要因であると考えられた。