[论文解读] A Regression Tsetlin Machine with Integer Weighted Clauses for Compact Pattern Representation

K. Darshana Abeyrathna, Ole‐Christoffer Granmo+1 more|arXiv (Cornell University)|Feb 4, 2020

Optimization and Search Problems参考文献 6被引用 5

一句话总结

本论文提出整数权重回归Tsetlin机器（RTM-IW），一种紧凑且可解释的回归模型，通过用单个带整数权重的短语替代多个相同的短语，实现高效建模。通过在直线上进行随机搜索以学习权重，RTM-IW将计算成本降低高达4,000倍，同时在六组人工数据集上实现了与标准RTM及实数权重RTM相当或更优的准确率，且显著提升了可解释性。

ABSTRACT

The Regression Tsetlin Machine (RTM) addresses the lack of interpretability impeding state-of-the-art nonlinear regression models. It does this by using conjunctive clauses in propositional logic to capture the underlying non-linear frequent patterns in the data. These, in turn, are combined into a continuous output through summation, akin to a linear regression function, however, with non-linear components and unity weights. Although the RTM has solved non-linear regression problems with competitive accuracy, the resolution of the output is proportional to the number of clauses employed. This means that computation cost increases with resolution. To reduce this problem, we here introduce integer weighted RTM clauses. Our integer weighted clause is a compact representation of multiple clauses that capture the same sub-pattern-N repeating clauses are turned into one, with an integer weight N. This reduces computation cost N times, and increases interpretability through a sparser representation. We further introduce a novel learning scheme that allows us to simultaneously learn both the clauses and their weights, taking advantage of so-called stochastic searching on the line. We evaluate the potential of the integer weighted RTM empirically using six artificial datasets. The results show that the integer weighted RTM is able to acquire on par or better accuracy using significantly less computational resources compared to regular RTMs. We further show that integer weights yield improved accuracy over real-valued ones.

研究动机与目标

• 解决标准回归Tsetlin机器（RTM）因短语数量线性增长而导致的高计算成本与可解释性有限的问题。
• 通过将N个相同的短语替换为一个带整数N权重的短语，提升模型紧凑性与可解释性。
• 提出一种基于直线上随机搜索（SOL）的新学习方案，仅通过递增和递减操作高效更新整数权重。
• 消除实数权重Tsetlin机器中所需的额外超参数（如学习率）。
• 证明整数权重在显著减少短语数量的同时，可实现与标准RTM及实数权重RTM相当或更优的回归准确率。

提出的方法

• 使用整数权重的合取短语表示数据中的重复子模式，其中权重为N的短语在语义上等价于N个相同的短语。
• 引入直线上随机搜索（SOL）算法以学习整数权重，用简单的递增/递减操作替代基于乘法的更新方式。
• 将整数权重学习机制整合进RTM的Type I与Type II反馈机制中，保持原始学习动态不变。
• 使用归一化回归函数：$ y = \frac{1}{T} \sum_{j=1}^{m} w_j \cdot \prod_{k \in I_j} l_k $，其中 $ w_j $ 为短语 $ j $ 的整数权重。
• 以随机、在线方式应用学习方案，基于预测误差更新权重，无需反向传播。
• 确保整数权重与短语生成端到端联合学习，保持可解释性与计算效率。

实验结果

研究问题

• RQ1 整数权重短语是否能显著减少RTM实现准确回归所需的短语数量，同时保持或提升性能？
• RQ2 所提出的直线上随机搜索方法在整数权重学习方面，是否在准确率与计算效率上优于实数权重学习？
• RQ3 当多个相同短语被压缩为一个带整数权重的短语时，RTM的可解释性如何提升？
• RQ4 数据中的噪声对RTM-IW中学习到的整数权重分布有何影响？
• RQ5 RTM-IW是否能在使用更少短语的情况下，实现比标准RTM与实数权重RTM更低的平均绝对误差（MAE）？

主要发现

• 在数据集IV上，RTM-IW使用2,000个短语实现了5.3726的平均绝对误差（MAE），优于标准RTM使用5,000个短语时的最佳MAE（5.5000）。
• 在数据集VI上，RTM-IW使用4,000个短语实现了2.1397的MAE，而标准RTM使用1,500个短语时的最佳MAE为2.2793。
• 在全部六个数据集上的平均测试MAE，RTM-IW为4.682，低于实数权重RTM的5.417，表明其泛化能力更优。
• 无噪声数据（如数据集III）的权重分布呈正态分布，中心位于100左右，表明大多数短语以中等权重被保留。
• 对于含噪声数据（如数据集IV），权重分布呈指数分布，大量短语被有效关闭（权重=0），表明对噪声具有鲁棒性。
• 通过将4,000个相同的短语替换为一个权重为4,000的短语，RTM-IW将计算成本降低了高达4,000倍。