[論文レビュー] A Regression Tsetlin Machine with Integer Weighted Clauses for Compact Pattern Representation

K. Darshana Abeyrathna, Ole‐Christoffer Granmo+1 more|arXiv (Cornell University)|Feb 4, 2020

Optimization and Search Problems参考文献 6被引用数 5

ひとこと要約

本稿では、整数重みを備えた回帰Tsetlinマシン（RTM-IW）を紹介する。これは、複数の同一の節を1つの節に重み付けすることで、コンパクトで解釈可能な回帰モデルを実現する。重み学習に直線上的な確率的探索を用いることで、計算コストを最大4,000倍まで削減し、標準RTMおよび実数値重み付きRTMと同等またはそれ以上の精度を達成しながら、解釈可能性を向上させた。6つの人工データセットで評価された。

ABSTRACT

The Regression Tsetlin Machine (RTM) addresses the lack of interpretability impeding state-of-the-art nonlinear regression models. It does this by using conjunctive clauses in propositional logic to capture the underlying non-linear frequent patterns in the data. These, in turn, are combined into a continuous output through summation, akin to a linear regression function, however, with non-linear components and unity weights. Although the RTM has solved non-linear regression problems with competitive accuracy, the resolution of the output is proportional to the number of clauses employed. This means that computation cost increases with resolution. To reduce this problem, we here introduce integer weighted RTM clauses. Our integer weighted clause is a compact representation of multiple clauses that capture the same sub-pattern-N repeating clauses are turned into one, with an integer weight N. This reduces computation cost N times, and increases interpretability through a sparser representation. We further introduce a novel learning scheme that allows us to simultaneously learn both the clauses and their weights, taking advantage of so-called stochastic searching on the line. We evaluate the potential of the integer weighted RTM empirically using six artificial datasets. The results show that the integer weighted RTM is able to acquire on par or better accuracy using significantly less computational resources compared to regular RTMs. We further show that integer weights yield improved accuracy over real-valued ones.

研究の動機と目的

• 標準回帰Tsetlinマシン（RTM）の高い計算コストと限られた解釈可能性を是正する。RTMは節の数に比例してスケーリングする。
• N個の同一の節を1つの節に重みNで置き換えることで、モデルのコンパクトさと解釈可能性を向上させる。
• 整数重みを効率的に更新するための、直線上的な確率的探索（SOL）に基づく新規な学習スキームを開発する。
• 実数値重み付きTsetlinマシンで必要な学習率などの追加ハイパーパrameterを不要にする。
• 整数重みが、標準RTMおよび実数値重み付きRTMと比較して、はるかに少ない節数で同等または優れた回帰精度を達成できることを示す。

提案手法

• データ内の繰り返しパターンを、整数重み付き論理積節で表現する。重みNの節は、N個の同一の節と意味的に同等である。
• 整数重みの学習に直線上的な確率的探索（SOL）アルゴリズムを導入し、乗算ベースの更新を単純なインクリメント／デクリメント操作に置き換える。
• RTMのタイプIおよびタイプIIフィードバック機構に整数重み学習を統合し、元の学習ダイナミクスを保持する。
• 正規化された回帰関数を用いる：$ y = \frac{1}{T} \sum_{j=1}^{m} w_j \cdot \prod_{k \in I_j} l_k $、ここで$ w_j $は節$ j $の整数重みである。
• 学習スキームを確率的かつオンライン形式で適用し、誤差に基づいて重みを更新するが、誤差逆伝搬は使用しない。
• 整数重みを節の生成と同時にエンドツーエンドで学習させ、解釈可能性と計算効率を維持する。

実験結果

リサーチクエスチョン

• RQ1 整数重み付き節を用いることで、RTMにおける正確な回帰を達成するために必要な節の数を著しく削減できるか？ また、性能は維持または向上するか？
• RQ2 整数重み学習に直線上的な確率的探索法を用いることで、実数値重み学習に比べ、精度および計算効率で優れるか？
• RQ3 複数の同一の節を1つの整数重み付き節に圧縮することで、RTMの解釈性はどのように向上するか？
• RQ4 ノイズを含むデータが、RTM-IWで学習された整数重みの分布に与える影響は何か？
• RQ5 整数重み付きRTMは、標準RTMおよび実数値重み付きRTMよりも少ない節数で、平均絶対誤差（MAE）を低く達成できるか？

主な発見

• データセットIVでは、RTM-IWが2,000個の節で平均絶対誤差（MAE）5.3726を達成した。これは、標準RTMが5,000個の節で達成した最良のMAE5.5000を上回った。
• データセットVIでは、RTM-IWが4,000個の節でMAE2.1397を達成した。これに対して、RTMは1,500個の節で最良のMAE2.2793を記録した。
• 全6つのデータセットにおける平均テストMAEは、RTM-IWで4.682、実数値重み付きRTMで5.417であった。これは、RTM-IWの一般化性能が優れていることを示している。
• ノイズのないデータ（例：データセットIII）では、重み分布が平均100を中心とする正規分布に近い形状を示し、多数の節が中程度の重みで保持されていることがわかった。
• ノイズを含むデータ（例：データセットIV）では、重み分布が指数分布に近く、多くの節が実質的に無効化（重み=0）されていた。これは、ノイズに対して強い耐性を示している。
• RTM-IWは、4,000個の同一の節を1つの重み4,000の節に置き換えることで、標準RTMに比べ計算コストを最大4,000倍まで削減した。