[論文レビュー] Generalized Linear Rule Models

Dennis Wei, Sanjeeb Dash+2 more|arXiv (Cornell University)|Jun 5, 2019

Bayesian Modeling and Causal Inference参考文献 28被引用数 16

ひとこと要約

本稿では、回帰および確率的分類のための、指数的に大きなルールベース特徴空間を最適化するために、列生成を用いた一般化線形ルールモデルを提案する。混合整数計画問題またはヒューリスティックな部分問題を繰り返し解くことで、高品質なルールを段階的に生成する手法であり、従来のルールアンサンブル手法と比較して、より優れた精度-複雑さのトレードオフを達成する。木のアンサンブルや非線形SVMといった解釈不能なモデルと同等またはそれ以上の性能を発揮しながら、ルールのスパarsity（スパース性）によって解釈可能性を維持する。

ABSTRACT

This paper considers generalized linear models using rule-based features, also referred to as rule ensembles, for regression and probabilistic classification. Rules facilitate model interpretation while also capturing nonlinear dependences and interactions. Our problem formulation accordingly trades off rule set complexity and prediction accuracy. Column generation is used to optimize over an exponentially large space of rules without pre-generating a large subset of candidates or greedily boosting rules one by one. The column generation subproblem is solved using either integer programming or a heuristic optimizing the same objective. In experiments involving logistic and linear regression, the proposed methods obtain better accuracy-complexity trade-offs than existing rule ensemble algorithms. At one end of the trade-off, the methods are competitive with less interpretable benchmark models.

研究の動機と目的

• ルールベースの特徴と向上した解釈可能性・モデリングの柔軟性を組み合わせた一般化線形モデルの手法を開発すること。
• 事前に候補を生成せず、またはグリーディーなルール追加を行わず、指数的に大きなルール空間を探索する課題に対処すること。
• 予測精度とルール集合の複雑さ（ルール数および長さ）のトレードオフを最適化すること。
• バイナリおよび数値特徴をバイナリ化することで使用可能にしつつ、計算の tractability（取り扱いやすさ）を維持すること。
• 数百のルールを含むルールアンサンブルが、非解釈可能なモデル（木のアンサンブルや非線形SVMなど）と同等の性能を達成しつつも、解釈可能であることを実証すること。

提案手法

• 指数的に大きなルール空間から事前に候補セットを計算せずに、動的かつ効率的にルールを生成するために列生成（CG）を用いる。
• CGの部分問題を、同じ目的関数を最適化する整数計画法またはヒューリスティックで解く。
• 一般化線形モデル（GLM）を回帰および確率的分類に適用し、ルールを特徴量として使用する。
• 特徴量のバイナリゼーションを実施：カテゴリカル変数にはワンホットエンコーディング、数値特徴量には双方向のしきい値処理を適用。
• 各CGイテレーションでGLMを再適合させ、ルールの重みを更新または破棄することで、1つずつのグリーディーなルール追加を回避する。
• 2つの変種を導入：LRR(N) は一般化されたルール生成に適しており、LR1(N) は1次ルールに特化しており、数値特徴と組み合わせると一般化加法モデル（GAM）を形成する。

実験結果

リサーチクエスチョン

• RQ1 列生成は、非線形一般化線形モデルにおけるルールアンサンブルの学習に効果的に適用可能か？
• RQ2 提案手法は、従来のルールアンサンブルアルゴリズムと比較して、より優れた精度-複雑さのトレードオフを達成するか？
• RQ3 数百のルールを含むルールアンサンブルは、非解釈可能なモデルと同等の性能を発揮しながらも、解釈可能であると見なせるか？
• RQ4 回帰および分類の予測性能において、高次ルール（相互作用）と1次ルールの比較はどうなるか？
• RQ5 適応的バイナリゼーションを伴うヒューリスティックベースの列生成は、特に回帰タスクにおいてモデル性能を向上させるか？

主な発見

• 提案されたLRR(N)手法は、分類および回帰の両タスクにおいて、RuleFitや他のルールアンサンブル手法と比較して、より優れた精度-複雑さのトレードオフを達成する。
• MEPSデータセットでは、LRR(N)がわずか108.2個の重み付きルールで平均$R^2$ 0.789を達成し、複雑さの面でRuleFit(N)を上回りつつ、競争力のある性能を維持する。
• 分類タスクでは、LRR(N)がわずか61.8個の重み付きルールで平均AUC 0.618を達成し、精度と複雑さの両面でRuleFitを上回る。
• Friedman検定により回帰タスクで統計的有意性（p値 0.046）が確認され、LRR(N)がモデル品質においてLR1(N)を顕著に上回ることが示された。
• トレードオフ曲線から、数十個のルールでほとんど最大性能に達することが示され、精度の大幅な損失なしに顕著な単純化が可能である。
• 解釈可能性をスパースなルールベース表現によって維持しながら、非線形SVMや木のアンサンブルと同等の性能を発揮する。