[논문 리뷰] The Weighted Tsetlin Machine: Compressed Representations with Weighted Clauses

Adrian Phoulady, Ole‐Christoffer Granmo외 2명|arXiv (Cornell University)|2019. 11. 28.

Optimization and Search Problems참고 문헌 13인용 수 5

한 줄 요약

가중치가 부여된 테슬린 기계(WTM)는 테슬린 기계의 패턴 표현을 압축하기 위해 실수형 문장 가중치를 도입하여, 유사하거나 더 높은 정확도를 달성하기 위해 더 적은 수의 문장을 사용할 수 있도록 한다. 문장 구성과 가중치를 함께 학습하고, 베르누이 샘플링 대신 이항 분포 기반 샘플링을 사용함으로써, WTM은 계산 시간과 메모리 사용량을 최대 50배까지 줄이며, MNIST, IMDb, Connect-4에서 성능을 유지하거나 향상시킨다.

ABSTRACT

The Tsetlin Machine (TM) is an interpretable mechanism for pattern recognition that constructs conjunctive clauses from data. The clauses capture frequent patterns with high discriminating power, providing increasing expression power with each additional clause. However, the resulting accuracy gain comes at the cost of linear growth in computation time and memory usage. In this paper, we present the Weighted Tsetlin Machine (WTM), which reduces computation time and memory usage by weighting the clauses. Real-valued weighting allows one clause to replace multiple, and supports fine-tuning the impact of each clause. Our novel scheme simultaneously learns both the composition of the clauses and their weights. Furthermore, we increase training efficiency by replacing $k$ Bernoulli trials of success probability $p$ with a uniform sample of average size $p k$, the size drawn from a binomial distribution. In our empirical evaluation, the WTM achieved the same accuracy as the TM on MNIST, IMDb, and Connect-4, requiring only $1/4$, $1/3$, and $1/50$ of the clauses, respectively. With the same number of clauses, the WTM outperformed the TM, obtaining peak test accuracies of respectively $98.63\%$, $90.37\%$, and $87.91\%$. Finally, our novel sampling scheme reduced sample generation time by a factor of $7$.

연구 동기 및 목표

• 실수형 가중치를 통해 문장 압축을 가능하게 하여 테슬린 기계(TM)의 계산 및 메모리 오버헤드를 줄이는 것.
• 반복적인 베르누이 시행을 이항 분포 기반 샘플링으로 대체하여 학습 효율성을 향상시키는 것.
• 필요한 문장 수를 크게 줄이면서도 분류 정확도를 유지하거나 향상시키는 것.
• 연속적인 가중치를 통한 문장 영향력의 세밀한 제어를 가능하게 하여 모델의 표현력과 해석 가능성 향상

제안 방법

• 각 문장이 이진 결과 대신 연속적인 값을 출력하는 가중치가 부여된 결합 문장을 도입하여, 하나의 문장이 다수의 무게 없는 문장을 대체할 수 있도록 한다.
• 유형 I 및 유형 II 학습 자동기계 피드백을 조합한 새로운 피드백 메커니즘을 사용하여, 문장 구성과 실수형 가중치를 동시에 학습한다.
• k개의 독립적인 베르누이 시행을 대체로, 크기가 pk인 단일 이항 분포 샘플링을 수행한 후 균일 샘플링을 수행하여 피드백 생성을 더 효율적으로 한다.
• 최종 예측을 내리기 위해 가중치가 부여된 문장 출력값의 다수결의 원칙을 적용하며, 가중치는 학습 중 정확도를 최대화하도록 학습된다.
• 피드백에 기반한 가중치 조정을 통합한 수정된 학습 자동기계 업데이트 규칙을 적용하여, 동적 문장 영향력 조정이 가능하도록 한다.
• 이중 학습 방식을 적용하여, 이진 특징에서 구성된 문장 논리식을 사용한 이진 분류 작업에 적용한다.

실험 결과

연구 질문

• RQ1 테슬린 기계에서 실수형 문장 가중치를 사용하면 정확도를 훼손하지 않고도 필요한 문장 수를 줄일 수 있는가?
• RQ2 제안된 이항 샘플링 기법은 기존의 표준 베르누이 샘플링 대비 훈련 시간을 크게 줄일 수 있는가?
• RQ3 WTM은 동일한 수의 문장을 사용할 때 표준 TM보다 더 높은 테스트 정확도를 달성할 수 있는가?
• RQ4 MNIST, IMDb, Connect-4와 같은 다양한 데이터셋에서 WTM의 메모리 및 계산 효율성은 어떠한가?

주요 결과

• MNIST에서 WTM은 표준 TM가 필요로 하는 문장 수의 1/4로 98.63%의 테스트 정확도를 달성했다.
• IMDb에서 WTM은 클래스당 25,000개의 문장을 사용해 90.25%의 정확도를 기록했으며, 동일 조건에서 표준 TM의 89.80%를 초월했다.
• Connect-4에서 WTM은 200개의 문장으로 87.32%의 정확도를 달성했으며, 표준 TM가 10,000개의 문장을 사용한 성능을 동일하게 재현했다—문장 수가 50배 줄어든 것이다.
• 이항 샘플링 기법은 표준 베르누이 샘플링 대비 샘플 생성 시간을 7배까지 단축시켰다.
• 동일한 문장 수를 사용할 경우, WTM은 세 가지 데이터셋 모두에서 표준 TM를 지속적으로 능가하여 더 뛰어난 표현력과 효율성을 입증했다.
• 동일한 문장 수 조건에서, WTM은 Connect-4에서 평균 에포크 훈련 시간을 19% 감소시키고, IMDb에서는 12% 감소시켰다—비록 가중치 업데이트의 추가 계산 비용이 있음에도 불구하고.