[論文レビュー] Scalable Rule-Based Representation Learning for Interpretable Classification

Zhuo Wang, Wei Zhang+2 more|arXiv (Cornell University)|Sep 30, 2021

Machine Learning and Data ClassificationComputer Science参考文献 40被引用数 20

ひとこと要約

本稿では、勾配挿入法と呼ばれる新しい訓練手法を用いて、離散的で曖昧でないルールをエンドツーエンドに学習するスケーラブルで解釈可能な分類器であるルールベース表現学習者（RRL）を提案する。この手法により、離散的なモデル構造を介した有効な誤差逆伝播が可能になる。RRLは、学習された論理的ルールと連続特徴の離散化に適した改善された論理的活性化関数を用いることで、小規模および大規模データセットの両方で最先端の性能を達成しながら、高いモデルの解釈性を維持する。

ABSTRACT

Rule-based models, e.g., decision trees, are widely used in scenarios demanding high model interpretability for their transparent inner structures and good model expressivity. However, rule-based models are hard to optimize, especially on large data sets, due to their discrete parameters and structures. Ensemble methods and fuzzy/soft rules are commonly used to improve performance, but they sacrifice the model interpretability. To obtain both good scalability and interpretability, we propose a new classifier, named Rule-based Representation Learner (RRL), that automatically learns interpretable non-fuzzy rules for data representation and classification. To train the non-differentiable RRL effectively, we project it to a continuous space and propose a novel training method, called Gradient Grafting, that can directly optimize the discrete model using gradient descent. An improved design of logical activation functions is also devised to increase the scalability of RRL and enable it to discretize the continuous features end-to-end. Exhaustive experiments on nine small and four large data sets show that RRL outperforms the competitive interpretable approaches and can be easily adjusted to obtain a trade-off between classification accuracy and model complexity for different scenarios. Our code is available at: https://github.com/12wang3/rrl.

研究の動機と目的

• 大規模データ向けのルールベースモデルにおけるスケーラビリティと解釈可能性のトレードオフを解消すること。
• 非微分可能な離散的ルールモデルに対する勾配ベース最適化を効果的に可能にすること。
• 連続特徴のエンドツーエンド離散化を可能にする、改善された論理的活性化関数の設計。
• 柔軟なルール表現とルールの重要度評価を可能にする階層的ルールベースモデルの開発。
• RRLの性能と解釈可能性を小規模および大規模データセットで検証し、さまざまな複雑さ-精度トレードオフへの適応可能性を示すこと。

提案手法

• ルールベース表現学習者（RRL）を提案する。これは、データ表現と分類のための結合的標準形および選言的標準形で解釈可能なルールを学習する階層的モデルである。
• 勾配挿入法を導入する。これは、連続的および離散的なパrametricポイントでの勾配情報を活用することで、離散的RRLモデルに対する直接的な勾配降下最適化を可能にする新しい訓練手法である。
• スケーラビリティの向上と、特化したバイナリゼーションレイヤーを介した連続的特徴のエンドツーエンド離散化を可能にする、改善された論理的活性化関数を設計する。
• ルールの重要度を評価し、モデルの解釈可能性を支援する、学習可能なルール重みを備えた線形層を採用する。
• モデルの複雑さを制御するためのL2正則化を用い、ユーザーが目的に応じて解釈可能性（高いλ）を優先するか、精度（低いλ）を優先するかを調整可能にする。
• 構造化されたテーブルデータにモデルを適用し、9つの小規模および4つの大規模データセットで性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ルールベースモデルは、大規模データセットにおいて、高いスケーラビリティと解釈可能性を同時に達成できるか？
• RQ2 勾配ベース最適化は、非微分可能な離散的ルールモデルに対しても効果的に適用可能か？
• RQ3 改善された論理的活性化関数は、微分可能かつエンドツーエンドの連続的特徴の離散化を可能にするか？
• RQ4 多様なデータスケールにおいて、RRLは既存の解釈可能なモデルと比較して、精度と解釈可能性の両面で優れているか？
• RQ5 RRLが学習したルールは意味的に解釈可能であり、モデルの理解や意思決定を支援するのに役立つか？

主な発見

• RRLは、小規模および大規模データセットの両方で、競合する解釈可能なモデルを上回る分類精度を達成し、優れた一般化性能を示している。
• 勾配挿入法により、すべての評価済みデータセットでSTE、ProxQuant、RBと比較して、より高速かつ安定した収束が達成された。特に、他の手法が収束に失敗するようなケースでも有効である。
• 改善された論理的活性化関数はスケーラビリティを顕著に向上させ、元の関数が失敗する大規模データセット（例：activity）でも成功した訓練が可能になった。
• スパースなfacebookデータセットでは、元の活性化関数ですら良好に性能を発揮した。これは、低密度の特徴空間においても堅牢であることを示している。
• 線形層におけるルール重みの分布から、高重量のルールは解釈可能で実行可能であることが明らかになった。例えば、中高年の既婚者で残高が低い顧客は、定期預金に加入する可能性が高いというルールが得られた。
• L2正則化（λ）を用いることで、モデルの複雑さを制御可能であり、ユーザーがアプリケーションのニーズに応じて解釈可能性（高いλ）を優先するか、精度（低いλ）を優先するかを調整できる。