[論文レビュー] A Fourier-based Framework for Domain Generalization

Qinwei Xu, Ruipeng Zhang+3 more|arXiv (Cornell University)|May 24, 2021

Domain Adaptation and Few-Shot Learning参考文献 44被引用数 11

ひとこと要約

本稿では、周波数ドメインにおける位相情報に注目することでモデルのロバスト性を向上させる、Fourierに基づくフレームワークFACTを提案する。振幅混合によるデータ拡張と共同教師正則化を用いることで、モデルが意味的に豊かな位相成分に注目するよう促し、Digits-DG、PACS、OfficeHomeベンチマークで最先端の性能を達成した。

ABSTRACT

Modern deep neural networks suffer from performance degradation when evaluated on testing data under different distributions from training data. Domain generalization aims at tackling this problem by learning transferable knowledge from multiple source domains in order to generalize to unseen target domains. This paper introduces a novel Fourier-based perspective for domain generalization. The main assumption is that the Fourier phase information contains high-level semantics and is not easily affected by domain shifts. To force the model to capture phase information, we develop a novel Fourier-based data augmentation strategy called amplitude mix which linearly interpolates between the amplitude spectrums of two images. A dual-formed consistency loss called co-teacher regularization is further introduced between the predictions induced from original and augmented images. Extensive experiments on three benchmarks have demonstrated that the proposed method is able to achieve state-of-the-arts performance for domain generalization.

研究の動機と目的

• 深層学習におけるドメインシフトの課題に取り組む。これは、分布外のテストデータでモデルの性能が低下する現象である。
• 教師データが不要な未観測のターゲットドメインに一般化できるように、ドメイン適応の限界を克服すること。
• 位相情報が不変で高レベルの意味的特徴を保持すると仮定する、新しいFourierに基づく視点を検討すること。
• 位相情報に注目するよう、暗黙的および明示的にモデルを促すデータ拡張および正則化戦略を開発すること。
• ゼロショット設定において、位相成分からの学習が多様なドメインにわたる一般化性能を向上させることを実証すること。

提案手法

• 2つの画像の振幅スペクトルを線形補間するFourierベースのデータ拡張技術「振幅混合」を提案。この手法では位相成分を保持したまま振幅スペクトルを変更する。
• モーメンタム更新を用いた教師ネットワークを用いて、元の画像と振幅摂動を加えた画像の予測の一貫性を強制する二重一貫性損失「共同教師正則化」を導入。
• Fourier変換を用いて画像を振幅スペクトルと位相スペクトルに分解し、位相を意味的コンテンツの主な源泉とみなす。
• 元の画像と拡張済み画像の予測差を最小化するようにモデルを学習させることで、暗黙的にモデルが位相由来の特徴に依存するよう促す。
• ターゲットドメインのアノテーションを一切必要とせず、自己教師学習の形でフレームワークをエンドツーエンドに適用する。
• 理論的分析により、振幅摂動が分類器が振幅由来の特徴に依存する影響を低下させることを示し、結果として位相由来の特徴に注目するよう促進することが示された。

実験結果

リサーチクエスチョン

• RQ1 Fourierドメインにおける位相情報は、ドメイン一般化における一般化性能を向上させるために、ロバストでドメイン不変の信号として機能できるか？
• RQ2 振幅を摂動させながら位相を保持するデータ拡張は、未観測ドメインにおける一般化性能を向上させるか？
• RQ3 元の画像と拡張済み画像の予測の一貫性を強制することで、共同教師正則化がさらなるロバスト性向上に寄与するか？
• RQ4 一般化性能の観点から、位相情報への依存度と振幅または空間的特徴への依存度の比較はいかがなっているか？
• RQ5 位相のみから再構成された画像に内在する意味的コンテンツは何か？また、エッジやホコリのようなオブジェクトレベルの構造とどのように関係しているか？

主な発見

• FACTは、3つの標準的なドメイン一般化ベンチマーク（Digits-DG、PACS、OfficeHome）で最先端の性能を達成した。
• 位相のみから再構成された画像はラプラシアンエッジマップと高いコサイン類似度（0.914）を示し、位相がエッジなどの重要な構造的ヒントを保持していることが示された。
• アブレーションスタディにより、振幅混合と共同教師正則化の両方が性能向上に不可欠であることが確認された。両者のいずれかを除去すると顕著な性能低下が生じた。
• 理論的分析により、振幅摂動が分類器が振幅由来の特徴に依存する影響を低下させることを支持する仮説が裏付けられた。その結果、位相由来の特徴に注目するよう促進された。
• FACTで学習されたモデルは、位相由来のドメイン不変の意味的構造に注目することで、未観測ドメインへの一般化性能が向上した。
• 可視化と定量的分析により、位相情報がオブジェクトの輪郭や空間的関係を保持しており、ドメインをまたいで意味的理解に不可欠な要因であることが確認された。