[论文解读] Massively Parallel and Asynchronous Tsetlin Machine Architecture Supporting Almost Constant-Time Scaling

K. Darshana Abeyrathna, Bimal Bhattarai+6 more|arXiv (Cornell University)|Sep 10, 2020

Algorithms and Data Compression参考文献 26被引用 21

一句话总结

本文提出了一种大规模并行、异步的Tsetlin Machine架构，通过为每个短语维护本地投票计数来消除同步瓶颈，实现在GPU上20至7,000个短语范围内近乎恒定时间的训练扩展。该方法在仅造成轻微准确率损失的情况下，实现了高达50倍的学习速度提升，即使在使用过时的投票数据时也表现出鲁棒性，归因于线程级并行化和原子更新带来的去中心化学习机制。

ABSTRACT

Using logical clauses to represent patterns, Tsetlin Machines (TMs) have recently obtained competitive performance in terms of accuracy, memory footprint, energy, and learning speed on several benchmarks. Each TM clause votes for or against a particular class, with classification resolved using a majority vote. While the evaluation of clauses is fast, being based on binary operators, the voting makes it necessary to synchronize the clause evaluation, impeding parallelization. In this paper, we propose a novel scheme for desynchronizing the evaluation of clauses, eliminating the voting bottleneck. In brief, every clause runs in its own thread for massive native parallelism. For each training example, we keep track of the class votes obtained from the clauses in local voting tallies. The local voting tallies allow us to detach the processing of each clause from the rest of the clauses, supporting decentralized learning. This means that the TM most of the time will operate on outdated voting tallies. We evaluated the proposed parallelization across diverse learning tasks and it turns out that our decentralized TM learning algorithm copes well with working on outdated data, resulting in no significant loss in learning accuracy. Furthermore, we show that the proposed approach provides up to 50 times faster learning. Finally, learning time is almost constant for reasonable clause amounts (employing from 20 to 7,000 clauses on a Tesla V100 GPU). For sufficiently large clause numbers, computation time increases approximately proportionally. Our parallel and asynchronous architecture thus allows processing of massive datasets and operating with more clauses for higher accuracy.

研究动机与目标

• 为克服传统Tsetlin Machine学习中的同步瓶颈，该瓶颈限制了并行化和可扩展性。
• 通过允许每个短语在其独立线程中运行，实现大规模原生并行性。
• 通过使用本地投票计数将短语处理与全局投票同步解耦，支持去中心化学习。
• 评估在使用过时或部分计算的投票数据时学习的鲁棒性。
• 在GPU硬件上实现20至7,000个短语数量范围内的近乎恒定的训练时间扩展。

提出的方法

• 每个短语在其独立线程中运行，实现在GPU核心上的大规模原生并行性。
• 为每个训练样本维护本地投票计数，以独立跟踪短语输出，将短语处理与全局同步解耦。
• 使用原子操作对投票计数进行异步更新，最大限度减少协调开销。
• 系统大部分时间在使用过时的投票数据运行，模拟了协调需求极少的去中心化学习模式。
• 该架构支持训练和推理，内存开销极小，每条样本每条短语仅增加1比特用于计数。
• 该方法在多种基准测试上进行了评估，包括图像分类、词义消歧和回归任务，使用的是Tesla V100 GPU。

实验结果

研究问题

• RQ1 能否在无需全局同步的情况下，通过大规模并行化高效扩展Tsetlin Machine学习？
• RQ2 在异步设置中，当短语基于过时的投票计数运行时，学习性能会如何退化？
• RQ3 所提出的架构是否能在不同数量的短语下实现近乎恒定的训练时间扩展？
• RQ4 系统能否在实现高达50倍学习时间加速的同时保持高准确率？
• RQ5 去中心化、异步学习机制在多样化机器学习任务上的表现如何？

主要发现

• 所提出的架构相比传统Tsetlin Machine，学习速度最高可提升50倍，且准确率无显著损失。
• 在Tesla V100 GPU上，当短语数量在20至7,000之间时，训练时间几乎保持恒定，表现出近乎理想的扩展性。
• 当短语数量超过7,000时，计算时间按比例增加，表明GPU的5,120个核心在该点之前已被充分利用。
• 即使短语在使用过时投票数据时，系统仍能保持高准确率，表明对不同步具有极强的鲁棒性。
• 该方法实现了高效的去中心化学习，仅需对本地投票计数进行原子操作即可完成协调。
• 在词义消歧和图像分类任务上的实证评估证实了其具有竞争力的准确率，JAVA数据集的F1得分为97.53%，APPLE数据集的F1得分为95.1%。