[论文解读] Addressing the Topological Defects of Disentanglement via Distributed Operators

Diane Bouchacourt, Mark Ibrahim+1 more|arXiv (Cornell University)|Feb 10, 2021

Cell Image Analysis Techniques参考文献 32被引用 5

一句话总结

本文提出了一种新颖的表示解耦方法，通过作用于整个潜在空间的分布式潜在算子，克服了传统基于子空间的解耦方法中存在的拓扑缺陷（如不连续性）。该方法基于群表示理论，能够有效解耦仿射变换（例如旋转、平移），并在包含多个物体类别的多类别图像数据集（如MNIST）上表现出优越性能。

ABSTRACT

A core challenge in Machine Learning is to learn to disentangle natural factors of variation in data (e.g. object shape vs. pose). A popular approach to disentanglement consists in learning to map each of these factors to distinct subspaces of a model's latent representation. However, this approach has shown limited empirical success to date. Here, we show that, for a broad family of transformations acting on images--encompassing simple affine transformations such as rotations and translations--this approach to disentanglement introduces topological defects (i.e. discontinuities in the encoder). Motivated by classical results from group representation theory, we study an alternative, more flexible approach to disentanglement which relies on distributed latent operators, potentially acting on the entire latent space. We theoretically and empirically demonstrate the effectiveness of this approach to disentangle affine transformations. Our work lays a theoretical foundation for the recent success of a new generation of models using distributed operators for disentanglement.

研究动机与目标

• 解决传统解耦方法将变化因素映射到不相交的潜在子空间所带来的根本性局限，这些方法可能在编码器中引入拓扑缺陷（如不连续性）。
• 探究为何现有解耦模型在包含多种物体类型的大类别数据集上表现失败，尽管其在单类别数据上表现成功。
• 提出一种基于全局作用于潜在空间的分布式潜在算子的替代解耦框架，以确保拓扑一致性。
• 从理论和实证上验证，分布式算子可在保持群作用等变性（例如旋转、平移）的同时，避免子空间方法固有的不连续性。

提出的方法

• 本文基于群作用的等变性提出了解耦的新定义，其中每个变化因素对应于作用于数据的群。
• 提出一种使用作用于整个潜在表征的分布式潜在算子的模型，而非将变换限制在特定子空间内。
• 该方法利用群表示理论的经典结果，确保每个算子对应单一变化因素，并在整个潜在空间中保持等变性。
• 作者设计了一个概念验证模型，采用弱监督和监督学习训练算子，以实现旋转和平移等变换的解耦。
• 模型采用堆叠结构的平移算子，实现对多种变换的解耦，支持复杂变换的组合学习。
• 实证评估使用了Rotated MNIST和平移形状等标准基准，定量指标包括潜在协方差分析和重建质量。

实验结果

研究问题

• RQ1 为何传统解耦方法在多类别数据集（如包含多个数字的MNIST）上失败，尽管其在单数字数据上表现成功？
• RQ2 何种拓扑约束阻止了基于子空间的解耦在仿射变换下实现连续编码器？
• RQ3 作用于整个潜在空间的分布式潜在算子能否克服基于子空间解耦固有的不连续性？
• RQ4 如何利用群表示理论设计对自然图像变换（如旋转和平移）具有等变性的模型？
• RQ5 分布式算子在多大程度上能解耦复杂复合变换（如旋转与平移的组合）？

主要发现

• 传统解耦方法（如VAE、β-VAE、CCI-VAE）在多数字MNIST中无法解耦旋转，潜在遍历和协方差分析结果表明各因素之间存在纠缠。
• 标准模型的潜在空间在旋转下表现出高方差和非退化特征值谱，表明解耦效果差，尤其在存在多个数字类别时更为明显。
• 所提出的基于弱监督平移算子的分布式算子模型在Rotated MNIST中成功实现旋转的解耦，表现为清晰且可解释的潜在遍历。
• 堆叠平移算子模型有效解耦了x轴和y轴的平移及其组合，即使变换群的半直积结构未被保留。
• 包含21个潜在变换的模型在平移任务上达到最优性能，且在报告的可视化结果中，10个变换时取得最佳效果。
• 堆叠平移模型的重建结果在复杂变换（包括旋转和平移）下仍保持高保真度，证实了所学表征的鲁棒性和解耦性。