[論文レビュー] Learning Interpretable Decision Rule Sets: A Submodular Optimization Approach

Fan Yang, Kai He+5 more|arXiv (Cornell University)|Jun 8, 2022

Rough Sets and Fuzzy Logic参考文献 30被引用数 10

ひとこと要約

本論文は、正則化された部分モジュラー最大化問題として定式化することで、解釈可能な意思決定ルール集合を学習するための部分モジュラー最適化フレームワークを提案する。NP困難なルール構築の部分問題を解くために、近似的な反復的局所探索アルゴリズムを導入し、理論的保証のもとで、実世界のデータセットにおいて高い予測性能と解釈可能性を達成している。

ABSTRACT

Rule sets are highly interpretable logical models in which the predicates for decision are expressed in disjunctive normal form (DNF, OR-of-ANDs), or, equivalently, the overall model comprises an unordered collection of if-then decision rules. In this paper, we consider a submodular optimization based approach for learning rule sets. The learning problem is framed as a subset selection task in which a subset of all possible rules needs to be selected to form an accurate and interpretable rule set. We employ an objective function that exhibits submodularity and thus is amenable to submodular optimization techniques. To overcome the difficulty arose from dealing with the exponential-sized ground set of rules, the subproblem of searching a rule is casted as another subset selection task that asks for a subset of features. We show it is possible to write the induced objective function for the subproblem as a difference of two submodular (DS) functions to make it approximately solvable by DS optimization algorithms. Overall, the proposed approach is simple, scalable, and likely to be benefited from further research on submodular optimization. Experiments on real datasets demonstrate the effectiveness of our method.

研究の動機と目的

• 精度と解釈可能性のバランスを取った、グローバルに最適な解釈可能なルール集合学習手法の開発。
• 指数的サイズのルール空間から高品質なルールを効率的に選択する課題の解決。
• 近似保証を有する部分モジュラー最適化に適した部分問題としてのルール構築の定式化。
• 正確な部分問題解法が非効率となる大規模データセットに対して効率的な近似アルゴリズムの設計。
• 最先端のルール学習アルゴリズムと比較して、実験的に性能を検証すること。

提案手法

• 主な学習問題は、すべての可能なルールからなるグランドセット上で正則化された部分モジュラー最大化としてモデル化される。
• 新しいルールのための特徴選択の部分問題は、2つの部分モジュラー関数の差（DS分解）として表現可能な目的関数を持つサブセット選択タスクとして定式化される。
• スケーラビリティを高めるために、反復的局所組合せ探索アルゴリズムが提案され、高次元データにも対応可能となる。
• 外側のループでは、部分問題が最適に解かれた場合に近似保証が得られる、グリーディな前向き選択戦略が用いられる。
• 低次元設定では正確な部分問題解法を評価するために、カスタマイズされた分枝限定法（BnB）手順が使用される。
• ベース分類器からの信頼度スコアを必要としない、モデルに依存しない1対1（OvO）還元を用いて多クラス分類をサポートする。

実験結果

リサーチクエスチョン

• RQ1 部分モジュラー最適化は、表形式データから正確で解釈可能なルール集合を学習するために効果的に適用可能か？
• RQ2 ルール構築のNP困難な部分問題は、理論的保証を維持しつつ、どのように効率的に近似可能か？
• RQ3 提案された部分問題の近似ソルバーは、実際のところ正確な解法と比較して競争力のある性能を維持できるか？
• RQ4 予測精度と解釈可能性の観点から、最先端のルール学習アルゴリズムと比較して本手法はどのように差をつけるか？
• RQ5 本フレームワークは、ベース分類器からの信頼度スコアを必要とせずに、多クラス分類に拡張可能か？

主な発見

• 提案手法は、20個の実世界データセットにおいて、最先端のルール学習アルゴリズムと比較して競争力のある予測性能を達成した。
• 9つの低次元データセットでは、近似部分問題ソルバーが正確なBnB解法と比較して相対誤差が1%未満であったため、優れた近似品質が示された。
• 低次元データセットの5つでは、近似ソルバーと正確ソルバーが同一のルール集合を生成したため、一貫性が確認された。
• 相対誤差がデータ次元数の増加に伴って拡大しなかったため、近似手法のロバストネスが示された。
• ブラックボックスモデルよりも人間が理解しやすく、監査やデバッグが容易な、コンパクトで人間が読めるルール集合を学習することで、強い解釈性を維持した。
• 実験結果から、部分問題の近似解法が理論的近似保証を破る場合でも、最終的なルール集合の性能が必ずしも劣化しないことが示された。