[论文解读] Learning the Irreducible Representations of Commutative Lie Groups

Taco Cohen, Max Welling|arXiv (Cornell University)|Feb 18, 2014

Medical Image Segmentation Techniques参考文献 16被引用 37

一句话总结

本文提出环形子群分析（TSA），一种基于紧致阿贝尔李群（如图像中的旋转）不可约表示的贝叶斯共轭关系的生成模型，通过学习数据的不变性和解耦表示。该方法实现了完全可计算的推断，并在MNIST旋转不变分类任务中达到最先进性能，显著优于切线距离和欧氏距离基线，其学习到的表示能显式分离旋转变化因子。

ABSTRACT

We present a new probabilistic model of compact commutative Lie groups that produces invariant-equivariant and disentangled representations of data. To define the notion of disentangling, we borrow a fundamental principle from physics that is used to derive the elementary particles of a system from its symmetries. Our model employs a newfound Bayesian conjugacy relation that enables fully tractable probabilistic inference over compact commutative Lie groups -- a class that includes the groups that describe the rotation and cyclic translation of images. We train the model on pairs of transformed image patches, and show that the learned invariant representation is highly effective for classification.

研究动机与目标

• 开发一种基于李群理论对称性原则的数学上严谨的解耦表征学习框架。
• 解决表征学习中对不变性和解耦性缺乏精确数学定义的问题。
• 实现对紧致阿贝尔李群（如SO(2)）的完全可计算的贝叶斯推断，该群可建模图像旋转。
• 证明对称群的不可约表示可为下游任务生成最优的解耦与不变特征。
• 通过群表示理论，为DFT和卷积池化操作提供概率解释。

提出的方法

• 模型引入一种新颖的群参数共轭先验，实现所有关键概率量（包括后验和边缘似然）的闭式计算。
• 将表征学习建模为对潜变量群参数的推断，其中数据对被建模为未观测群元素作用下的变换版本。
• 利用广义贝塞尔函数（GBF）表达归一化常数和矩，通过微分递推关系实现高效梯度计算。
• 采用前向传播推断流程计算群元素和表征的后验，避免迭代优化。
• 模型学习一组与群不可约表示对应的滤波器（基函数），其频率通过角速度参数估计。
• 通过SVD对权重矩阵正交化，确保对基旋转的不变性并稳定训练过程。

实验结果

研究问题

• RQ1 能否在完全可计算的贝叶斯框架中，利用紧致阿贝尔李群的不可约表示学习解耦且不变的表征？
• RQ2 如何利用贝叶斯共轭关系，实现对连续对称群（如SO(2)）的精确推断？
• RQ3 所学习的表征能否在旋转不变图像分类任务中超越现有方法？
• RQ4 该模型在未配对的变换图像块上，能在多大程度上恢复真实的底层群结构？
• RQ5 DFT和卷积操作的概率解释如何从群表示理论中自然导出？

主要发现

• TSA在MNIST旋转不变分类任务中达到最先进性能，显著优于切线距离和欧氏距离基线。
• 模型学习到的滤波器清晰且可解释，对应于旋转群的不同频率分量，100个滤波器的频率估计准确无误。
• TSA学习到的表征在分类任务中极为有效，真实流形距离（MD）的准确率与非旋转像素空间相当，表明实现了近乎完美的不变性。
• 模型对变换参数的后验分布具有多模态特性，且准确反映了不确定性，优于MAP等点估计方法。
• 所有关键概率量（包括归一化常数、KL散度和梯度）均可闭式计算，支持通过随机梯度下降实现高效训练。
• 该方法为DFT和卷积神经网络池化操作提供了严谨的概率基础，表明这些操作可自然地从群表示理论中导出。