[논문 리뷰] Massively Parallel and Asynchronous Tsetlin Machine Architecture Supporting Almost Constant-Time Scaling

K. Darshana Abeyrathna, Bimal Bhattarai외 6명|arXiv (Cornell University)|2020. 09. 10.

Algorithms and Data Compression참고 문헌 26인용 수 21

한 줄 요약

이 논문은 GPU에서 20에서 7,000개의 절에 걸쳐 거의 일정한 시간 내에 학습 스케일링이 가능한, 대량의 병렬 처리 및 비동기식 Tsetlin 머신 아키텍처를 제안한다. 각 절에서 국소 투표 집계를 사용함으로써 동기화 블로킹을 제거하여, 거의 일정한 시간 내에 학습이 가능하게 한다. 이 방법은 정확도 손실이 최소화된 상태에서 최대 50배 빠른 학습을 달성하며, 스레드 수준의 병렬 처리와 원자 연산을 통한 탈중앙화 학습 덕분에 오래된 투표 데이터를 사용하는 경우에도 강건하다.

ABSTRACT

Using logical clauses to represent patterns, Tsetlin Machines (TMs) have recently obtained competitive performance in terms of accuracy, memory footprint, energy, and learning speed on several benchmarks. Each TM clause votes for or against a particular class, with classification resolved using a majority vote. While the evaluation of clauses is fast, being based on binary operators, the voting makes it necessary to synchronize the clause evaluation, impeding parallelization. In this paper, we propose a novel scheme for desynchronizing the evaluation of clauses, eliminating the voting bottleneck. In brief, every clause runs in its own thread for massive native parallelism. For each training example, we keep track of the class votes obtained from the clauses in local voting tallies. The local voting tallies allow us to detach the processing of each clause from the rest of the clauses, supporting decentralized learning. This means that the TM most of the time will operate on outdated voting tallies. We evaluated the proposed parallelization across diverse learning tasks and it turns out that our decentralized TM learning algorithm copes well with working on outdated data, resulting in no significant loss in learning accuracy. Furthermore, we show that the proposed approach provides up to 50 times faster learning. Finally, learning time is almost constant for reasonable clause amounts (employing from 20 to 7,000 clauses on a Tesla V100 GPU). For sufficiently large clause numbers, computation time increases approximately proportionally. Our parallel and asynchronous architecture thus allows processing of massive datasets and operating with more clauses for higher accuracy.

연구 동기 및 목표

• 기존 Tsetlin 머신 학습에서 발생하는 동기화 블로킹 문제를 해결하여 병렬 처리와 확장성의 한계를 해소한다.
• 각 절이 별도의 스레드에서 독립적으로 작동하도록 함으로써, 본질적인 대량 병렬 처리를 가능하게 한다.
• 국소 투표 집계를 사용하여 절 처리를 전역 투표 동기화에서 분리함으로써 탈중앙화 학습을 지원한다.
• 오래된 또는 부분적으로 계산된 투표 데이터를 기반으로 작동할 경우 학습의 강건성 여부를 평가한다.
• GPU 하드웨어에서 절의 수가 다양할 경우(20–7,000) 거의 일정한 학습 시간 스케일링을 달성한다.

제안 방법

• 각 절이 별도의 스레드에서 실행되어 GPU 코어 전반에 걸쳐 대량의 본질적 병렬 처리가 가능하다.
• 국소 투표 집계를 각 학습 예제별로 유지하여 절의 출력을 독립적으로 추적함으로써, 절 처리와 전역 동기화를 분리한다.
• 투표 집계에 원자 연산을 사용하여 비동기식으로 절 업데이트를 수행함으로써 조정 오버헤드를 최소화한다.
• 시스템은 대부분의 시간 동안 오래된 투표 데이터를 기반으로 작동하여, 최소한의 조정으로 탈중앙화 학습 환경을 시뮬레이션한다.
• 메모리 오버헤드가 최소한인 상태에서 학습과 추론을 모두 지원하며, 각 예제당 절당 1비트의 추가 메모리만 필요로 한다.
• 이 방법은 테슬라 V100 GPU를 사용하여 다양한 벤치마크, 즉 이미지 분류, 단어 의미 해석, 회귀 작업에서 평가되었다.

실험 결과

연구 질문

• RQ1 전역 동기화 없이 대량의 병렬 처리를 통해 Tsetlin 머신 학습을 효율적으로 스케일링할 수 있는가?
• RQ2 비동기 환경에서 절이 오래된 투표 집계를 기반으로 작동할 경우 학습 성능은 어떻게 저하되는가?
• RQ3 제안된 아키텍처는 다양한 수의 절에 걸쳐 거의 일정한 학습 시간 스케일링을 달성하는가?
• RQ4 학습 시간을 최대 50배 빠르게 하면서도 높은 정확도를 유지할 수 있는가?
• RQ5 다양한 기계 학습 작업에서 탈중앙화 및 비동기 학습 메커니즘이 얼마나 잘 작동하는가?

주요 결과

• 제안된 아키텍처는 기존 Tsetlin 머신보다 최대 50배 빠른 학습을 달성하며, 정확도 손실이 거의 없음을 확인했다.
• 테슬라 V100 GPU에서 절의 수가 20에서 7,000 사이일 경우 학습 시간이 거의 일정하게 유지되어 거의 이상적인 스케일링을 보였다.
• 7,000개를 초과하는 절의 수에서는 계산 시간이 비례하여 증가하여, GPU의 5,120개 코어가 그 지점까지 완전히 활용된다는 것을 시사한다.
• 절이 오래된 투표 데이터를 기반으로 작동하더라도 시스템이 높은 정확도를 유지하며, 비동기화에 대한 강건성을 입증했다.
• 이 방법은 오직 국소 투표 집계에 대한 원자 연산만으로도 효율적인 탈중앙화 학습을 가능하게 한다.
• 단어 의미 해석 작업과 이미지 분류 작업에 대한 실증적 평가 결과, 경쟁력 있는 정확도를 확보하였으며, JAVA 데이터셋에서 F1 스코어는 97.53%, APPLE 데이터셋에서는 95.1%를 기록했다.