[论文解读] Exact Feature Distribution Matching for Arbitrary Style Transfer and Domain Generalization

Yabin Zhang, Minghan Li+3 more|arXiv (Cornell University)|Mar 15, 2022

Multimodal Machine Learning Applications被引用 16

一句话总结

本文提出精确特征分布匹配（EFDM），一种新颖方法，通过使用排序-匹配算法实现精确直方图匹配（EHM），精确匹配深度特征的经验累积分布函数（eCDF），从而实现精确的特征分布对齐。EFDM在任意风格迁移和域泛化任务中均优于当前最先进方法，具备实时推理速度，实现了新的SOTA结果，同时计算开销极低。

ABSTRACT

Arbitrary style transfer (AST) and domain generalization (DG) are important yet challenging visual learning tasks, which can be cast as a feature distribution matching problem. With the assumption of Gaussian feature distribution, conventional feature distribution matching methods usually match the mean and standard deviation of features. However, the feature distributions of real-world data are usually much more complicated than Gaussian, which cannot be accurately matched by using only the first-order and second-order statistics, while it is computationally prohibitive to use high-order statistics for distribution matching. In this work, we, for the first time to our best knowledge, propose to perform Exact Feature Distribution Matching (EFDM) by exactly matching the empirical Cumulative Distribution Functions (eCDFs) of image features, which could be implemented by applying the Exact Histogram Matching (EHM) in the image feature space. Particularly, a fast EHM algorithm, named Sort-Matching, is employed to perform EFDM in a plug-and-play manner with minimal cost. The effectiveness of our proposed EFDM method is verified on a variety of AST and DG tasks, demonstrating new state-of-the-art results. Codes are available at https://github.com/YBZh/EFDM.

研究动机与目标

• 解决传统特征分布匹配方法仅依赖高斯假设下的均值和标准差所带来的局限性。
• 实现在深度特征空间中的精确分布匹配，克服近似高阶统计量或不完整矩匹配的不准确性。
• 开发一种快速、即插即用的精确特征分布匹配方法，适用于视觉任务中的实时应用。
• 通过eCDF匹配实现的精确分布对齐，提升任意风格迁移（AST）和域泛化（DG）的性能。
• 展示EFDM在生成多样化、高质量特征增强方面对域泛化的有效性。

提出的方法

• 通过在源域和目标域之间精确对齐深度特征的经验累积分布函数（eCDF），提出精确特征分布匹配（EFDM）。
• 在特征空间中采用精确直方图匹配（EHM），实现精确的eCDF对齐，解决了传统直方图匹配（HM）合并等值的局限性。
• 采用排序-匹配算法——一种快速的EHM变体，保留等值元素的顺序，实现复杂度为O(n log n)的高效、逐元素变换。
• 引入一种基于eCDF匹配的新风格损失，以提升任意风格迁移中的风格化质量，替代或增强传统的AdaIN风格损失。
• 将EFDM扩展至特征增强，提出精确特征分布混合（EFDMix），实现多样化、高质量的数据增强，用于域泛化。
• 以即插即用方式实现EFDM，兼容现有网络，且仅需极少架构修改，支持端到端训练。

实验结果

研究问题

• RQ1 在深度特征空间中精确匹配经验累积分布函数（eCDF）是否能相比仅匹配均值和方差的方法，在任意风格迁移任务中带来更优性能？
• RQ2 通过实现精确分布对齐，EFDM是否能在域泛化任务中通过改进的特征增强优于现有方法？
• RQ3 与传统直方图匹配（HM）等近似方法相比，通过排序-匹配实现的精确eCDF匹配在分布准确性和计算效率方面表现如何？
• RQ4 EFDM隐式捕捉的高阶特征统计量在多大程度上促进了视觉质量与泛化性能的提升？
• RQ5 EFDM能否在不牺牲性能的前提下高效部署于实时应用中，特别是在与现有SOTA方法的对比下？

主要发现

• EFDM在多个任意风格迁移基准上实现了新的SOTA性能，用户研究表明其在竞争方法中获得最高偏好票数。
• 在PACS数据集上，EFDM实现了88.7%的准确率，较之前SOTA提升超过1%，证明了精确分布对齐的有效性。
• 在Tesla V100 GPU上，EFDM对512×512图像的推理速度达到256 FPS，推理速度与AdaIN相当，但性能显著更优。
• EFDM优于AdaMean和AdaStd变体，表明通过eCDF对齐隐式匹配高阶统计量可带来更优的风格化与泛化效果。
• EFDMix作为EFDM在数据增强中的扩展，生成了更多样化且高效的特征增强，提升了域泛化任务中的泛化能力。
• 不同EHM实现方式（如保留、随机或基于邻近的等值排序）性能相近，证实排序-匹配作为最优选择具有鲁棒性，主要因其速度优势。