[論文レビュー] Tsetlin Machine for Solving Contextual Bandit Problems

Raihan Seraj, Jivitesh Sharma+1 more|arXiv (Cornell University)|Feb 4, 2022

Machine Learning and Algorithms被引用数 5

ひとこと要約

本稿では、命題論理を用いたビット演算とトムソンサンプリングを活用して意思決定を行う、解釈可能な文脈的バンディットアルゴリズムを提案する。実験的に、TMベースの学習器は9つのデータセットのうち8つで他のベースラーナーを上回った。また、命題式を用いた論理的解釈により、アーム選択の透明性を実現した。

ABSTRACT

This paper introduces an interpretable contextual bandit algorithm using Tsetlin Machines, which solves complex pattern recognition tasks using propositional logic. The proposed bandit learning algorithm relies on straightforward bit manipulation, thus simplifying computation and interpretation. We then present a mechanism for performing Thompson sampling with Tsetlin Machine, given its non-parametric nature. Our empirical analysis shows that Tsetlin Machine as a base contextual bandit learner outperforms other popular base learners on eight out of nine datasets. We further analyze the interpretability of our learner, investigating how arms are selected based on propositional expressions that model the context.

研究の動機と目的

• 命題論理を用いて解釈可能かつ高い性能を実現する文脈的バンディットアルゴリズムの開発。
• 論理に基づくパターン認識器「Tsetlin Machine」を、文脈的バンディット設定におけるオンラインで逐次学習可能な形に適応すること。
• 非パラメトリックで論理ベースの学習器（例：Tsetlin Machine）に対して、ブートストラップ技術を用いてトムソンサンプリングを実装すること。
• 学習済みの節から導かれる明示的な命題論理式を用いて、アーム選択方針の解釈可能性を提供すること。
• 多様なデータセットを用いた実験的評価を通じて、TMベースのバンディットが一般的なベースラーナーを凌駕するかを検証すること。

提案手法

• 各アームの期待報酬を命題論理節を用いてモデル化するため、Tsetlin Machineをベースラーナーとして採用する。
• 各アームの選択方針は、入力特徴量とその否定の論理積（AND）からなる節の論理和（OR）で構成される、選言標準形（DNF）式として表現される。
• ビット演算を用いることで節の評価を効率的に行い、高速かつ解釈可能な推論を実現する。
• トムソンサンプリングはブートストラップを用いて実装され、複数のTMが再サンプリングされたデータで学習され、アーム価値の事後分布が推定される。
• 最終的なアーム選択は、TMの予測の事後分布からサンプリングし、スコアが最も高いアームを選択することで行われる。
• 解釈可能性は、各コンテキストにおけるアーム選択を支配する命題論理式を抽出・分析することで達成される。

実験結果

リサーチクエスチョン

• RQ1 Tsetlin Machineは、文脈的バンディット問題のベースラーナーとして効果的に適応可能か？
• RQ2 非パラメトリックで論理ベースのモデル（例：Tsetlin Machine）に対して、どのようにしてトムソンサンプリングを実装できるか？
• RQ3 Tsetlin Machineベースの文脈的バンディットは、既存のベースラーナーと比較して、累積レグレットの観点でどの程度優れているか？
• RQ4 Tsetlin Machineが生成するアーム選択方針は、命題論理式としてどの程度解釈可能か？
• RQ5 コンテキストのバイナリゼーションの影響は何か？また、モデルの内在的な解釈可能性と効率性によってそれを相殺できるか？

主な発見

• Tsetlin Machineベースの文脈的バンディットは、9つのベンチマークデータセットのうち8つで累積レグレットの観点で他のベースラーナーを上回った。
• ビット演算と効率的な節評価のおかげで、計算複雑性が著しく低減されたが、性能は競争的であった。
• 明示的な命題論理式を用いた解釈可能性が実証された。例えば、アイrisデータセットにおけるアーム1の選択は、'x10 ∨ x14 ∨ x15 ∨ x3' といった論理式で直接的に関連づけられた。
• ブートストラップされたTMの使用により、非パラメトリックな設定でも効果的なトムソンサンプリングが実現され、性能と解釈可能性の両立が達成された。
• コンテキストのバイナリゼーションを要するものの、モデルは強力な性能を維持した。これは、論理的抽象化が本質的なパターンを効果的に捉えていることを示唆している。
• モデルの解釈可能性により、ユーザーは論理規則をたどることで意思決定の根拠を明確に把握できる。例として、'¬x10 ∨ ¬x11 ∨ ¬x15 ∨ (x1 ∧ ¬x12 ∧ ...)' のような論理的ルールが選択ロジックの明確な洞察を提供する。