[論文レビュー] Closed-Form Expressions for Global and Local Interpretation of Tsetlin Machines with Applications to Explaining High-Dimensional Data

Christian D. Blakely, Ole‐Christoffer Granmo|arXiv (Cornell University)|Jul 27, 2020

Reinforcement Learning in Robotics参考文献 22被引用数 9

ひとこと要約

本稿では、Tsetlin Machine（TM）におけるグローバルおよびローカル解釈可能性の閉形式表現を導入し、学習中に結合節から直接リアルタイムでの特徴量重要度分析を可能にした。分類および回帰タスクにおいて、SHAPに類似した解釈可能性を達成しつつ、優れた精度を発揮するとともに、アンサンブルモデルを用いない高次元データ可視化のための新規3次元クラスタリング手法を導出した。

ABSTRACT

Tsetlin Machines (TMs) capture patterns using conjunctive clauses in propositional logic, thus facilitating interpretation. However, recent TM-based approaches mainly rely on inspecting the full range of clauses individually. Such inspection does not necessarily scale to complex prediction problems that require a large number of clauses. In this paper, we propose closed-form expressions for understanding why a TM model makes a specific prediction (local interpretability). Additionally, the expressions capture the most important features of the model overall (global interpretability). We further introduce expressions for measuring the importance of feature value ranges for continuous features. The expressions are formulated directly from the conjunctive clauses of the TM, making it possible to capture the role of features in real-time, also during the learning process as the model evolves. Additionally, from the closed-form expressions, we derive a novel data clustering algorithm for visualizing high-dimensional data in three dimensions. Finally, we compare our proposed approach against SHAP and state-of-the-art interpretable machine learning techniques. For both classification and regression, our evaluation show correspondence with SHAP as well as competitive prediction accuracy in comparison with XGBoost, Explainable Boosting Machines, and Neural Additive Models.

研究の動機と目的

• 手動による節の点検に依存する複雑なTsetlin Machineモデルにおけるスケーラブルで内在的な解釈可能性の欠如に対処すること。
• 学習中にリアルタイムで更新可能な、計算的に効率的なグローバルおよびローカル特徴量重要度の閉形式表現を開発すること。
• 連続的特徴量の値範囲に対する解釈可能性を拡張し、データパターンに関する詳細な洞察を可能にすること。
• TMの節構造を活用して、高次元データを3次元で可視化する新規クラスタリングアルゴリズムを導出すること。
• SHAPおよび最先端の解釈可能なモデルと比較して、同等の精度と一貫性を示すことを検証すること。

提案手法

• すべての節における特徴量カバレッジと節の重みに基づくグローバル特徴量重要度の閉形式表現を提案する。
• 節単位の寄与度を用いて、特定の予測における各特徴量の寄与度を定量化するローカル解釈性の式を導出する。
• 事前に定義された値区間における節の活性化を評価することで、連続的特徴量の範囲重要度を測定する手法を導入する。
• グローバル重要度で上位の節の重心を用いて、アルゴリズム1による新規3次元クラスタリングアルゴリズムのクラスタ中心を定義する。
• TMの内在的な節構造を活用して、アンサンブルモデルや追加の推論層を必要とせずに、リアルタイムでの解釈可能性とクラスタリングを実現する。
• 効率的な推論と学習を可能にする節インデキシングを用いた重み付きTMを採用し、学習中に動的解釈可能性を実現する。

実験結果

リサーチクエスチョン

• RQ1 Tsetlin Machineの節から直接、リアルタイムでのグローバルおよびローカル解釈可能性を可能にする閉形式表現としての特徴量重要度を導出できるか？
• RQ2 連続的特徴量の値範囲が、TMフレームワーク内での予測的重要度として定量的に評価可能か？
• RQ3 学習済みTMの節構造を活用して、高次元データを3次元で可視化する新規で解釈可能なクラスタリング手法を構築できるか？
• RQ4 提案手法の解釈可能性は、SHAPおよび他の最先端の解釈可能なモデルと比較して、精度と一貫性において優れているか？
• RQ5 解釈性式は学習プロセス中に動的に更新可能であり、モデル行動の進化を段階的に把握できるか？

主な発見

• 提案されたグローバルおよびローカル解釈性の閉形式表現は、複数のデータセットにおいてSHAP値と強く一致し、信頼性を裏付けた。
• TMベースの解釈性手法は、XGBoost、Explainable Boosting Machines、Neural Additive Modelsと同等の予測精度を達成した。
• 新規3次元クラスタリングアルゴリズムは、節の重心をクラスタ中心にマッピングすることで、高次元データを効果的に可視化し、タンパク質発現データにおける意味のあるグループ化を明らかにした。
• マウスタンパク質データでは、SOD1がグローバルに最も重要な特徴量であり、最大クラスタに属する観測値においても、その優位性がローカル解釈性出力に一貫して反映された。
• クラスタ間で一貫したローカル解釈性が示された：1つのクラスタではSOD1が支配的であり、別のクラスタではCaNA、3番目のクラスタではUbiquitinが支配的であり、生物学的に妥当な傾向と一致した。
• 本手法は、モデル学習中にリアルタイムでの解釈可能性を実現し、モデルの進化に伴う特徴量重要度の動的モニタリングを可能にした。