[論文レビュー] FSDR: Frequency Space Domain Randomization for Domain Generalization

Jiaxing Huang, Dayan Guan+2 more|arXiv (Cornell University)|Mar 3, 2021

Domain Adaptation and Few-Shot Learning参考文献 78被引用数 28

ひとこと要約

FSDR は画像を周波数成分に分解してドメイン不変な部分を保ちつつ、ドメイン変動部分をランダム化することでセマンティックセグメンテーションのドメイン一般化を向上させます。2 つのアプローチ（FSDR-SA と FSDR-SL）を提示し、単一ソースのベースラインより高い性能を達成し、いくつかのドメイン適応手法と競合します。

ABSTRACT

Domain generalization aims to learn a generalizable model from a known source domain for various unknown target domains. It has been studied widely by domain randomization that transfers source images to different styles in spatial space for learning domain-agnostic features. However, most existing randomization uses GANs that often lack of controls and even alter semantic structures of images undesirably. Inspired by the idea of JPEG that converts spatial images into multiple frequency components (FCs), we propose Frequency Space Domain Randomization (FSDR) that randomizes images in frequency space by keeping domain-invariant FCs (DIFs) and randomizing domain-variant FCs (DVFs) only. FSDR has two unique features: 1) it decomposes images into DIFs and DVFs which allows explicit access and manipulation of them and more controllable randomization; 2) it has minimal effects on semantic structures of images and domain-invariant features. We examined domain variance and invariance property of FCs statistically and designed a network that can identify and fuse DIFs and DVFs dynamically through iterative learning. Extensive experiments over multiple domain generalizable segmentation tasks show that FSDR achieves superior segmentation and its performance is even on par with domain adaptation methods that access target data in training.

研究の動機と目的

• ドメイン不変特徴への不要な変化を最小化することで、ターゲットド-domainデータなしのドメイン一般化を動機づける。
• 周波数空間フレームワークを提案し、ドメイン変動周波数成分を分離・操作する。
• DVFs/DIFs を識別し堅牢な一般化を実現するための 2 つの戦略（FSDR-SA と FSDR-SL）を開発する。
• 周波空間のランダム化が空間空間の手法を補完し、複数のターゲットに対してセグメンテーションを改善することを示す。

提案手法

• DCT を用いて画像を周波数空間に変換し、64 個の周波数成分（FCs）に分解する。
• スペクトラム分析と反復学習によってドメイン不変 FCs（DIFs）とドメイン変動 FCs（DVFs）を特定する。
• DIFs を変えずに DVFs のみをランダム化して意味構造を保つ。
• 2 つの FSDR 変種を実装：FSDR-SA は DVF のランダム化に参照画像とのヒストグラム整合を使用；FSDR-SL は双方向性のエントロピーに基づくスペクトラム学習で DVFs/DIFs を適応的に識別する。
• 結合目的関数：L_orig + L_SA + L_SL を用いてドメイン堅牢で不変な表現を強制的に学習する。
• オプションとして、最小限のオーバーヘッドで既存のドメイン適応/一般化モデルと FSDR を統合する。

実験結果

リサーチクエスチョン

• RQ1 周波数ドメイン分解（DIFs vs DVFs）が意味を保持しつつスタイルを摂動することでドメイン一般化を改善できるか。
• RQ2 スペクトラム分析ベースおよびスペクトラム学習ベースの FSDR 戦略は堅牢な一般化のために DIFs/DVFs を効果的に識別できるか。
• RQ3 FSDR は従来の空間ドメインのドメイン一般化手法とどう相互作用し、補完し得るか。
• RQ4 GTA5 / SYNTHIA から実世界ターゲットへの semantic segmentation の性能に FSDR 成分を含めることの影響はどれくらいか。

主な発見

• SA と SL の両方の損失を組み合わせた FSDR は、Cityscapes、Mapillary、BDD のいずれもベースラインを上回る（mIoU：33.4、27.9、27.3→44.8、43.4、41.2）。
• FSDR-SA および FSDR-SL は個別にベースラインを改善し、特に FSDR-SL は適応的・双方向スペクトラム学習により大きな利得を示す（例：Cityscapes/Mapillary/BDD でそれぞれ 43.6/42.1/40.1）。
• FSDR は GTA5 および SYNTHIA から実世界ターゲットへのドメイン適応およびドメイン一般化手法と比較して最先端または競合的な結果を達成。
• 他の既存のドメイン適応/生成ネットワークと補完的で、統合時にも一貫した改善を示す（組み合わせ結果において示される）。
• 感度解析では、保持される FCs の割合 p に対して性能が安定しており、極端な設定（p が 0 または 1 に近い）でのみ顕著な低下が見られる。