[论文解读] A Group-Theoretic Approach to Computational Abstraction: Symmetry-Driven Hierarchical Clustering

Haizi Yu, Igor Mineyev+1 more|arXiv (Cornell University)|Jul 30, 2018

Complex Network Analysis Techniques参考文献 38被引用 4

一句话总结

本文提出了一套基于群论的计算抽象框架，该框架通过对称性而非数据生成分层聚类，实现了无需数据、无需特征、无需相似性度量的全局分层概念形成。该方法利用群作用诱导数学空间的划分，当与统计推断结合时，可实现香农的信息格，从而实现透明的、受认知启发的概念学习，如在音乐创作中的演示。

ABSTRACT

Abstraction plays a key role in concept learning and knowledge discovery; this paper is concerned with computational abstraction. In particular, we study the nature of abstraction through a group-theoretic approach, formalizing it as symmetry-driven---as opposed to data-driven---hierarchical clustering. Thus, the resulting clustering framework is data-free, feature-free, similarity-free, and globally hierarchical---the four key features that distinguish it from common data clustering models such as $k$-means. Beyond a theoretical foundation for abstraction, we also present a top-down and a bottom-up approach to establish an algorithmic foundation for practical abstraction-generating methods. Lastly, via both a theoretical explanation and a real-world application, we illustrate that further coupling of our abstraction framework with statistics realizes Shannon's information lattice and even further, brings learning into the picture. This not only presents one use case of our proposed computational abstraction, but also gives a first step towards a principled and cognitive way of automatic concept learning and knowledge discovery.

研究动机与目标

• 开发一种通用的、基于原理的计算抽象方法，不依赖于数据、特征或相似性度量。
• 将抽象形式化为对称性操作的结果，使用群论作为跨领域的通用先验。
• 为以自上而下或自下而上的方式生成分层抽象建立理论与算法基础。
• 证明将抽象框架与统计学习结合可形成信息格，从而实现透明的、受认知启发的概念学习。
• 在基于规则的与数据驱动的AI之间提供一个中间路径，将类似先天的对称性与经验学习相结合。

提出的方法

• 将抽象形式化为基于对称性的聚类，其中群作用于数学空间（如向量空间或流形）以生成划分。
• 利用群作用诱导等价关系，从而生成将对称元素视为等价的聚类——忽略聚类内部的差异。
• 提出一种自上而下的方法，从高层次对称性构建抽象；以及一种自下而上的方法，从数据中恢复对称性。
• 在满足学习规则的线性约束下，通过最大化Tsallis熵，实现在概率性和信息论框架下的抽象。
• 将抽象表示为格中的信息元素，其中约束 $ H(\bm{y}^k|\bm{x}) = 0 $ 确保高层抽象 $ \bm{y}^k $ 与基础信息 $ \bm{x} $ 一致。
• 使用划分矩阵 $ A^k $ 和概率向量 $ y^k $ 编码规则为线性约束，从而在保持抽象保真度的前提下实现最大随机性的优化。

实验结果

研究问题

• RQ1 如何将抽象形式化为对称性的结果，而非依赖于数据或相似性？
• RQ2 能否使用群论原理构建一个通用的、与领域无关的抽象先验？
• RQ3 如何在不依赖特征或数据的情况下，算法化地生成分层抽象结构？
• RQ4 统计推断在连接抽象对称性与现实世界学习中起什么作用，它如何产生类似认知的学习过程？
• RQ5 所得到的抽象框架能否与信息论结合，形成一个透明且可解释的学习系统？

主要发现

• 所提出的框架通过从数学空间上的群作用推导出的划分，实现了无需数据、无需特征、无需相似性度量且全局分层的聚类。
• 该方法支持自上而下和自下而上的抽象算法构建，允许既进行概念设计，也能从数据中恢复抽象。
• 当与统计学习结合时，该抽象框架实现了香农的信息格，其中抽象以满足 $ H(\bm{y}^k|\bm{x}) = 0 $ 的信息元素形式表示。
• 在MUS-ROVER应用中，学生代理在规则约束下最大化Tsallis熵，生成符合规则的全新音乐，同时记忆高层原则。
• MUS-ROVER中的学习过程在视觉上模拟了巴赫的作曲思维，信息格反映出分层抽象与规则激活的结构。
• 该框架为黑箱模型提供了一种透明且可解释的替代方案，通过类似先天的对称性与经验数据，实现类人学习。