[论文解读] Improving Relational Regularized Autoencoders with Spherical Sliced Fused Gromov Wasserstein

Khai T. Nguyen, Son Nguyen+3 more|arXiv (Cornell University)|Oct 5, 2020

Generative Adversarial Networks and Image Synthesis参考文献 38被引用 6

一句话总结

本文提出球面切片融合Gromov Wasserstein（SSFG）及其变体——混合SSFG（MSSFG）与幂SSFG（PSSFG），通过使用von Mises-Fisher（vMF）分布及其变体作为切片分布，改进关系正则化自编码器（RAE），以学习更具信息量的投影。该方法增强了潜在空间正则化，相较于基线SFG与max-SFG方法，在图像生成与重构性能上表现更优。

ABSTRACT

Relational regularized autoencoder (RAE) is a framework to learn the distribution of data by minimizing a reconstruction loss together with a relational regularization on the latent space. A recent attempt to reduce the inner discrepancy between the prior and aggregated posterior distributions is to incorporate sliced fused Gromov-Wasserstein (SFG) between these distributions. That approach has a weakness since it treats every slicing direction similarly, meanwhile several directions are not useful for the discriminative task. To improve the discrepancy and consequently the relational regularization, we propose a new relational discrepancy, named spherical sliced fused Gromov Wasserstein (SSFG), that can find an important area of projections characterized by a von Mises-Fisher distribution. Then, we introduce two variants of SSFG to improve its performance. The first variant, named mixture spherical sliced fused Gromov Wasserstein (MSSFG), replaces the vMF distribution by a mixture of von Mises-Fisher distributions to capture multiple important areas of directions that are far from each other. The second variant, named power spherical sliced fused Gromov Wasserstein (PSSFG), replaces the vMF distribution by a power spherical distribution to improve the sampling time in high dimension settings. We then apply the new discrepancies to the RAE framework to achieve its new variants. Finally, we conduct extensive experiments to show that the new proposed autoencoders have favorable performance in learning latent manifold structure, image generation, and reconstruction.

研究动机与目标

• 为解决切片融合Gromov Wasserstein（SFG）中均匀切片的局限性，其对所有方向同等对待，导致差异性被低估。
• 通过聚焦于具有判别性、高影响力的投影方向，改进自编码器中的关系正则化。
• 开发一种系统性、明确定义的差异度量方法，避免维度灾难，并在高维空间中支持高效采样。
• 通过引入自适应方向先验（vMF及其变体）扩展SFG，以更好地捕捉潜在空间中的复杂数据结构。
• 在MNIST与CelebA数据集上，评估新差异度量在自编码器框架中的表现，以提升生成与重构性能。

提出的方法

• 提出球面切片融合Gromov Wasserstein（SSFG），采用von Mises-Fisher（vMF）分布采样投影方向，集中于最能分离先验与聚合后验的区域。
• 引入混合SSFG（MSSFG），使用vMF分布的混合模型，同时识别多个相距较远、高影响力的投影方向。
• 开发幂SSFG（PSSFG），以幂球分布替代vMF分布，加速高维设置下的采样过程。
• 将SSFG及其变体应用于RAE框架中的关系正则化，形成新型自编码器变体：s-DRAE、MSSFG-RAE与PSSFG-RAE。
• 采用随机优化方法，通过迭代优化最佳投影方向，基于vMF分布的极大似然方法实现。
• 采用标准深度自编码器架构，结合全连接层与转置卷积层，用于图像重构与生成。

实验结果

研究问题

• RQ1 在SFG中以vMF分布替代均匀切片，是否能提升自编码器中关系正则化的质量？
• RQ2 使用vMF分布的混合模型，是否能使模型发现多个多样、高影响力的投影方向，而这些方向是均匀采样或单方向采样所遗漏的？
• RQ3 在高维潜在空间中，幂球分布是否能减少采样时间而不损失性能？
• RQ4 SSFG-based RAE与SFG-based及max-SFG-based RAE相比，在图像生成与重构保真度方面表现如何？
• RQ5 所提出方法是否能有效降低先验与聚合后验之间的差异性，同时保持计算效率？

主要发现

• 基于SSFG的自编码器（s-DRAE）在生成4个高斯模态时收敛更快，且分布匹配效果更优，优于SFG与max-SFG。
• MSSFG展现出更优的模态分离能力，避免了模态交集区域的过代表现，表明其更有效地捕捉了独立的数据结构。
• PSSFG在高维设置下显著减少采样时间，同时保持了具有竞争力的性能，展现出良好的可扩展性。
• 在MNIST与CelebA数据集上，所提自编码器的FID分数更低，且重构MSE更优，优于基于SFG的基线方法。
• 将vMF及其变体用作切片分布，可构建明确定义的伪度量，避免了推理过程中的维度灾难。
• 实证结果证实，如vMF与混合vMF等方向先验，相较于均匀采样与最大方向采样，在捕捉有意义的潜在结构方面表现更优。