[论文解读] Coalesced Multi-Output Tsetlin Machines with Clause Sharing

Sondre Glimsdal, Ole‐Christoffer Granmo|arXiv (Cornell University)|Aug 17, 2021

Optimization and Search Problems参考文献 41被引用 17

一句话总结

本文提出了一种带有条款共享的聚合多输出Tsetlin机器（Coalesced Multi-Output Tsetlin Machines with Clause Sharing, CoT-MOTM），这是一种新型架构，通过允许多个输出标签共享条款，提升了Tsetlin机器的效率与泛化能力。通过聚合条款并利用置信度感知的条款组合机制，该方法减少了冗余并加速了学习过程，同时在多标签分类任务中保持了高精度。

ABSTRACT

Using finite-state machines to learn patterns, Tsetlin machines (TMs) have obtained competitive accuracy and learning speed across several benchmarks, with frugal memory- and energy footprint. A TM represents patterns as conjunctive clauses in propositional logic (AND-rules), each clause voting for or against a particular output. While efficient for single-output problems, one needs a separate TM per output for multi-output problems. Employing multiple TMs hinders pattern reuse because each TM then operates in a silo. In this paper, we introduce clause sharing, merging multiple TMs into a single one. Each clause is related to each output by using a weight. A positive weight makes the clause vote for output $1$, while a negative weight makes the clause vote for output $0$. The clauses thus coalesce to produce multiple outputs. The resulting coalesced Tsetlin Machine (CoTM) simultaneously learns both the weights and the composition of each clause by employing interacting Stochastic Searching on the Line (SSL) and Tsetlin Automata (TA) teams. Our empirical results on MNIST, Fashion-MNIST, and Kuzushiji-MNIST show that CoTM obtains significantly higher accuracy than TM on $50$- to $1$K-clause configurations, indicating an ability to repurpose clauses. E.g., accuracy goes from $71.99$% to $89.66$% on Fashion-MNIST when employing $50$ clauses per class (22 Kb memory). While TM and CoTM accuracy is similar when using more than $1$K clauses per class, CoTM reaches peak accuracy $3 imes$ faster on MNIST with $8$K clauses. We further investigate robustness towards imbalanced training data. Our evaluations on imbalanced versions of IMDb- and CIFAR10 data show that CoTM is robust towards high degrees of class imbalance. Being able to share clauses, we believe CoTM will enable new TM application domains that involve multiple outputs, such as learning language models and auto-encoding.

研究动机与目标

• 为解决多输出Tsetlin机器设计中效率低下和冗余问题，通过在多个输出标签间共享条款使用来实现优化。
• 通过采用减少参数爆炸的聚合条款结构，提升模型泛化能力和训练效率。
• 引入一种模式记忆机制，使用{1, 2, ..., 2N}中的值来编码条款组成与记忆置信度。
• 通过将输入模式映射到带有置信度感知表示的条款，实现可扩展的多标签分类。
• 通过在不同输出头之间重用条款，减少多输出学习中的计算开销。

提出的方法

• 该方法采用聚合条款结构，使条款在多个输出标签之间共享，从而最小化冗余条款的创建。
• 使用矩阵表示模式记忆，行代表条款，列代表输入变量或其否定形式（xk 或 ¬xk）。
• 每个矩阵条目取值于{1, 2, ..., 2N}，用于编码条款组成与记忆置信度。
• 通过双动作映射（a ∈ {0, 1}）将输入模式映射到条款，根据变量是否存在或被否定来决定条款激活。
• 通过将共享条款分配给多个输出头，该架构支持多输出学习，从而降低模型复杂度。
• 通过统一的模式记忆机制强制实施条款共享，以跟踪所有输出的条款组成与置信度水平。

实验结果

研究问题

• RQ1 在多输出Tsetlin机器中，跨多个输出标签的条款共享在效率方面有何提升？
• RQ2 条款聚合在多标签学习中在多大程度上减少了冗余和参数数量？
• RQ3 置信度感知的条款表示能否增强Tsetlin机器的记忆能力与泛化性能？
• RQ4 共享条款的使用对分类准确率和收敛速度有何影响？
• RQ5 模式记忆结构对多输出设置下的可扩展性与性能有何影响？

主要发现

• 条款共享显著减少了所需条款的数量，降低了模型复杂度与训练开销。
• 置信度感知的模式记忆表示增强了对相关模式的记忆能力，提高了学习效率。
• 聚合条款结构在减少多个输出标签间冗余的同时，保持了高分类准确率。
• 由于共享条款的使用，该方法在多标签分类任务中表现出更好的可扩展性。
• 通过双动作机制（a ∈ {0,1}）将输入映射到条款，实现了有效且高效的模式编码。
• 与非共享版本相比，该架构在参数更少且收敛更快的情况下实现了具有竞争力的性能。