[論文レビュー] The Weighted Tsetlin Machine: Compressed Representations with Weighted Clauses

Adrian Phoulady, Ole‐Christoffer Granmo+2 more|arXiv (Cornell University)|Nov 28, 2019

Optimization and Search Problems参考文献 13被引用数 5

ひとこと要約

重み付きTsetlinマシン（WTM）は、Tsetlinマシンにおけるパターン表現の圧縮を可能にする実数値の節重みを導入し、同等またはより高い精度を達成するためにより少ない節数で実現します。節の構成と重みを同時に学習し、ベルヌーイ抽出の代わりに二項分布に基づく抽出を採用することで、WTMは計算時間とメモリ使用量を最大50倍まで削減しながら、MNIST、IMDb、Connect-4の性能を維持または向上させます。

ABSTRACT

The Tsetlin Machine (TM) is an interpretable mechanism for pattern recognition that constructs conjunctive clauses from data. The clauses capture frequent patterns with high discriminating power, providing increasing expression power with each additional clause. However, the resulting accuracy gain comes at the cost of linear growth in computation time and memory usage. In this paper, we present the Weighted Tsetlin Machine (WTM), which reduces computation time and memory usage by weighting the clauses. Real-valued weighting allows one clause to replace multiple, and supports fine-tuning the impact of each clause. Our novel scheme simultaneously learns both the composition of the clauses and their weights. Furthermore, we increase training efficiency by replacing $k$ Bernoulli trials of success probability $p$ with a uniform sample of average size $p k$, the size drawn from a binomial distribution. In our empirical evaluation, the WTM achieved the same accuracy as the TM on MNIST, IMDb, and Connect-4, requiring only $1/4$, $1/3$, and $1/50$ of the clauses, respectively. With the same number of clauses, the WTM outperformed the TM, obtaining peak test accuracies of respectively $98.63\%$, $90.37\%$, and $87.91\%$. Finally, our novel sampling scheme reduced sample generation time by a factor of $7$.

研究の動機と目的

• 実数値の重みを用いた節の圧縮を可能にすることで、Tsetlinマシン（TM）の計算およびメモリのオーバーヘッドを低減すること。
• 繰り返しのベルヌーイ試行の代わりに二項分布抽出を用い、その後均等抽出を行うことで、学習の効率を向上させること。
• 必要な節の数を著しく削減しながらも、分類精度を維持または向上させること。
• 連続的な重み付けにより節の影響を細かく制御することで、モデルの表現力と解釈可能性を向上させること。

提案手法

• 各節が二値の出力ではなく連続値を出力する重み付き論理積節を導入し、1つの節が複数の重みなしの節を表現可能にする。
• タイプIおよびタイプIIの学習自動機のフィードバックを組み合わせた新しいフィードバック機構を用いて、節の構成と実数値の重みを同時に学習する。
• k個の独立したベルヌーイ試行を、サイズがpkの単一の二項分布抽出に置き換え、その後均等抽出を行うことで、フィードバックの生成をより効率的にする。
• 加重節出力の多数決による予測を最終的な予測とし、重みは学習中に精度を最大化するように学習される。
• フィードバックに基づいた重み調整を組み込んだ、変更された学習自動機の更新ルールを採用し、動的で適応可能な節の影響チューニングを可能にする。
• バイナリ特徴に基づく命題論理節を用いた二値分類タスクに本手法を適用し、重みはエンドツーエンドで学習される。

実験結果

リサーチクエスチョン

• RQ1 Tsetlinマシンにおける実数値の節重みは、精度を損なわずに節の数を削減できるか？
• RQ2 提案された二項分布抽出方式は、標準的なベルヌーイ抽出と比較して、著しく訓練時間を短縮できるか？
• RQ3 同じ数の節を用いた場合、WTMは標準TMよりも高いテスト精度を達成できるか？
• RQ4 MNIST、IMDb、Connect-4のような多様なデータセットにおいて、WTMはメモリおよび計算効率の面でどのように性能を発揮するか？

主な発見

• MNISTでは、WTMは標準TMが要する節数の1/4で98.63％のテスト精度を達成した。
• IMDbでは、WTMは1クラスあたり25,000の節を用いて90.25％の精度を達成し、同じ条件下でTMの89.80％を上回った。
• Connect-4では、WTMは200の節で87.32％の精度を達成し、TMが10,000の節を要する性能を再現した—節数は50倍少ない。
• 二項分布抽出方式により、サンプル生成時間は標準的なベルヌーイ抽出と比較して7倍短縮された。
• 同じ節数を用いた場合、WTMは3つのデータセットすべてでTMを常に上回り、優れた表現力と効率性を示した。
• 同じ節数を用いた場合、WTMはConnect-4で1エポックあたりの平均訓練時間を19％短縮し、IMDbでは12％短縮したが、重み更新の追加コストを考慮しても依然として効率的であった。