[論文レビュー] The Tsetlin Machine -- A Game Theoretic Bandit Driven Approach to Optimal Pattern Recognition with Propositional Logic

Ole‐Christoffer Granmo|arXiv (Cornell University)|Apr 4, 2018

Optimization and Search Problems参考文献 48被引用数 99

ひとこと要約

Tsetlin Machineを導入します。これは、Tsetlin AutomataをClauseに組織し、ゲーム理論的学習スキームで協調させることで、ノイズの多い環境下でグローバルオプティマを達成する、スケーラブルで解釈可能なパターン認識器です。標準的なML手法と競合する精度を示し、解釈可能な命題論理パターンを提供します。

ABSTRACT

Although simple individually, artificial neurons provide state-of-the-art performance when interconnected in deep networks. Arguably, the Tsetlin Automaton is an even simpler and more versatile learning mechanism, capable of solving the multi-armed bandit problem. Merely by means of a single integer as memory, it learns the optimal action in stochastic environments through increment and decrement operations. In this paper, we introduce the Tsetlin Machine, which solves complex pattern recognition problems with propositional formulas, composed by a collective of Tsetlin Automata. To eliminate the longstanding problem of vanishing signal-to-noise ratio, the Tsetlin Machine orchestrates the automata using a novel game. Further, both inputs, patterns, and outputs are expressed as bits, while recognition and learning rely on bit manipulation, simplifying computation. Our theoretical analysis establishes that the Nash equilibria of the game align with the propositional formulas that provide optimal pattern recognition accuracy. This translates to learning without local optima, only global ones. In five benchmarks, the Tsetlin Machine provides competitive accuracy compared with SVMs, Decision Trees, Random Forests, Naive Bayes Classifier, Logistic Regression, and Neural Networks. We further demonstrate how the propositional formulas facilitate interpretation. In conclusion, we believe the combination of high accuracy, interpretability, and computational simplicity makes the Tsetlin Machine a promising tool for a wide range of domains.

研究の動機と目的

• パターン認識における従来のLearning Automataの限界、例えばパターン表現の不十分さと信号対雑音比の消失を対処する。
• Tsetlin Automataに基づき、命題句を構築するスケーラブルで解釈可能な学習フレームワークを提案する。
• Type IとType IIフィードバックを用いたゲームによって何百万もの自動機を協調させ、局所最適解ではなくグローバル最適解を保証する。
• ビットパターンの句を活用して効率的な計算と解釈性を確保する。
• 多様なデータセットで競争力のある性能を示し、より大規模なアーキテクチャの構成要素としての潜在能力を示す。

提案手法

• 入力ビットとその否定から派生したリテラル集合の上で、結合句としてパターンを表現する。
• 各句内の各リテラルの含有/不含を決定するために、2o個のTsetlin Automataのチームを使用する。
• Type IおよびType IIフィードバックを用いた新規のゲームベース学習を用い、句の構築を正確なパターンへと導く。
• 総和を目標としたサマリ目標を介して、サブパターンの多様なカバレッジを確保する資源配分メカニズムで句学習を協調する。
• 正/負の極性スキームと閾値を用いて句を跨いで投票することにより最終出力を推定する。
• 人間が読める命題式に対応する解釈しやすいビットパターンを提供する。

実験結果

リサーチクエスチョン

• RQ1 大量のTsetlin Automataをどのように協調させて、パターン認識のための最適な命題式を形成することができるか？
• RQ2 ゲーム理論的設定でのType IとType IIフィードバックは、分散学習における信号対雑音比の減衰を克服できるか？
• RQ3 オンラインで学習される命題論理ベースの句は、ベンチマークデータセットにおいて標準的なML手法と比較して競争力のある精度を達成するか？
• RQ4 得られたパターンの解釈性はどの程度で、より大規模なアーキテクチャの構成ブロックとして利用可能か？

主な発見

• Tsetlin Machineは、正確なパターン認識を可能にする句で構成された命題式を学習する。
• Type IおよびType IIフィードバックを用いたゲーム理論的協調スキームはノイズを緩和し、何百万もの自動機での学習をサポートする。
• この手法は、複数のベンチマークでSVM、決定木、ランダムフォレスト、ナイーブベイズ、ロジスティック回帰、ニューラルネットワークに対して競争力のある精度を示す。
• 句は人間が解釈・検査しやすいビットパターン表現である。
• 本手法はオンライン学習をサポートし、より高度なアーキテクチャを構築するための構成要素として統合できる。