[论文解读] FDA: Fourier Domain Adaptation for Semantic Segmentation

Yanchao Yang, Stefano Soatto|arXiv (Cornell University)|Apr 11, 2020

Domain Adaptation and Few-Shot Learning参考文献 57被引用 61

一句话总结

FDA 通过在源图像与目标图像之间交换低频傅里叶幅度，实现零训练的领域对齐，将无监督域适配转变为半监督学习，在 GTA5/SYNTHIA 到 CityScapes 的基准测试中达到最先进的结果。

ABSTRACT

We describe a simple method for unsupervised domain adaptation, whereby the discrepancy between the source and target distributions is reduced by swapping the low-frequency spectrum of one with the other. We illustrate the method in semantic segmentation, where densely annotated images are aplenty in one domain (synthetic data), but difficult to obtain in another (real images). Current state-of-the-art methods are complex, some requiring adversarial optimization to render the backbone of a neural network invariant to the discrete domain selection variable. Our method does not require any training to perform the domain alignment, just a simple Fourier Transform and its inverse. Despite its simplicity, it achieves state-of-the-art performance in the current benchmarks, when integrated into a relatively standard semantic segmentation model. Our results indicate that even simple procedures can discount nuisance variability in the data that more sophisticated methods struggle to learn away.

研究动机与目标

• 激励一种简单、训练量小的方法来减少语义分割中的领域差距。
• 利用低层次的傅里叶域统计量在不进行对抗训练的情况下对齐源分布和目标分布。
• 证明FDA在标准基准上可以超过复杂的域适配方法。
• 将FDA整合到半监督学习框架中，以进一步提升分割质量。

提出的方法

• 对图像计算FFT，并使用以β为中心的掩模交换低频幅度分量。
• 在保持源图像原始相位不变的情况下，用逆FFT重建自适应后的图像。
• 在适应后的源图像上用交叉熵损失训练分割网络。
• 对目标预测进行基于熵的加权正则化，以鼓励自信、清晰分离的输出。
• 通过使用不同β值训练多模型并将它们的预测平均为自监督的伪标签，引入多频带传输（MBT）。
• 可选：结合熵最小化（FDA-ENT）和MBT以提升性能。

实验结果

研究问题

• RQ1 在不进行对抗训练的情况下，简单的源/目标图像低频谱对齐是否能减少语义分割中的域移位？
• RQ2 作为一种零-shot对齐方法，FDA在标准的合成到真实基准上是否优于更复杂的UDA方法？
• RQ3 将FDA与基于熵的正则化和MBT结合，是否能在基线FDA之上获得半监督改进？
• RQ4 FDA 对谱邻域大小参数β的敏感度有多高，是否多尺度/MBT策略可以缓解这种敏感性？

主要发现

• 使用单尺度β的FDA在GTA5→CityScapes上取得强劲表现，超越了若干对抗域方法，并在不同骨干网络上保持鲁棒。
• 熵正则化的FDA（FDA-ENT）取得与更复杂对齐方法相近的竞争性结果。
• 通过对不同β值训练的模型的预测求平均，在单一β模型之上提供持续改进的MBT。
• 使用MBT伪标签进行的自监督轮次进一步提升性能，正则化可防止确认偏差。
• 在各基准和骨干网络中，基于FDA的方法在mIoU上达到最高或具竞争力的分数，相较于依赖图像翻译或对抗训练的最先进方法。