[论文解读] $C^*$-algebra Net: A New Approach Generalizing Neural Network Parameters to $C^*$-algebra

Yuka Hashimoto, Zhao Wang+1 more|arXiv (Cornell University)|Jun 20, 2022

Neural Networks and Applications被引用 4

一句话总结

本文提出了 $C^*$-代数网络（$C^*$-algebra Net），这是一种新颖的框架，将神经网络参数推广为 $C^*$-代数取值的权重，实现了连续的模型聚合以及多模型的整合。通过利用希尔伯特 $C^*$-模，该方法支持函数取值参数的梯度下降，进而在数据有限的情况下，在密度估计和少样本学习任务中展现出更优的性能。

ABSTRACT

We propose a new framework that generalizes the parameters of neural network models to $C^*$-algebra-valued ones. $C^*$-algebra is a generalization of the space of complex numbers. A typical example is the space of continuous functions on a compact space. This generalization enables us to combine multiple models continuously and use tools for functions such as regression and integration. Consequently, we can learn features of data efficiently and adapt the models to problems continuously. We apply our framework to practical problems such as density estimation and few-shot learning and show that our framework enables us to learn features of data even with a limited number of samples. Our new framework highlights the potential possibility of applying the theory of $C^*$-algebra to general neural network models.

研究动机与目标

• 将神经网络参数从实数推广为 $C^*$-代数取值的函数，以实现连续的模型聚合。
• 在希尔伯特 $C^*$-模上开发梯度下降方法，用于优化 $C^*$-代数取值的参数。
• 将该框架应用于实际问题，如在训练数据有限的情况下进行密度估计和少样本学习。
• 展示在深度学习中使用 $C^*$-代数结构相较于经典实数取值模型的理论与实际优势。

提出的方法

• 将实数取值的神经网络权重推广为 $C^*$-代数的元素，特别是紧空间 $\mathcal{Z}$ 上的连续函数空间 $C(\mathcal{Z})$。
• 将每个网络参数表示为 $\mathcal{A} = C(\mathcal{Z})$ 中的函数，从而实现跨模型的连续插值与积分。
• 通过 $\mathcal{A}$-取值参数上的损失泛函来构建学习目标，支持通过函数回归与积分进行优化。
• 通过定义内积与伴随运算，将梯度下降方法推广至希尔伯特 $C^*$-模，使其推广经典希尔伯特空间方法。
• 使用带有参数 $\mu$ 的核岭回归对函数参数化进行正则化，以在模型灵活性与泛化能力之间取得平衡。
• 通过将输出建模为 $\mathcal{Z}$ 上的函数，将该框架应用于密度估计与少样本学习，其中 $\mathcal{Z}$ 表示数据点或潜在变量。

实验结果

研究问题

• RQ1 能否将神经网络参数从 $\mathbb{R}$ 推广为 $C^*$-代数取值的函数，以实现模型的连续组合？
• RQ2 如何利用希尔伯特 $C^*$-模的结构，将梯度下降方法扩展至优化 $C^*$-代数取值的参数？
• RQ3 所提出的框架是否能在低数据场景（如少样本学习与密度估计）中提升性能？
• RQ4 该框架在多大程度上可推广现有方法，如集成学习、复数网络与分布参数学习？

主要发现

• 该框架通过 $C^*$-代数取值的参数实现了多模型的连续聚合，其性能优于标准集成学习，因为模型可在训练过程中实现交互。
• 在少样本学习中，该模型通过学习可泛化的函数参数化，在样本有限的情况下实现了更高的测试准确率。
• 在密度估计中，该方法通过 $\mu$-正则化的函数参数化结合核岭回归，有效建模了复杂的数据分布。
• 正则化参数 $\mu$ 的最优取值可在泛化能力与准确性之间实现平衡，当 $\mu$ 过小或过大时性能均会下降。
• 该框架推广了复数网络与分布参数学习，当 $\mathcal{Z}$ 为有限集或分布受限时，可将现有方法作为特例包含在内。
• 数值结果表明，当 $\mu$ 调优得当时，$C^*$-代数网络在 $l=10$ 个少样本示例的任务中实现了少样本学习的最先进性能。