[論文レビュー] Interpretable Two-level Boolean Rule Learning for Classification

Guolong Su, Dennis Wei+2 more|arXiv (Cornell University)|Jun 18, 2016

Machine Learning and Algorithms参考文献 16被引用数 28

ひとこと要約

本稿では、ハミング損失（正解率）とスパarsity（解釈可能性）の両方をバランスさせる原理的で一貫した目的関数を用いて、結合標準形（CNF）および選言標準形（DNF）の両方における解釈可能な2段階ブールルールの学習のための新規最適化フレームワークを提案する。この手法は、線形計画法（LP）の緩和、ブロック座標降下法、および交互最小化を用い、ベンチマークデータセットにおいて、正解率とスパarsityの両面で最先端のトレードオフを達成している。

ABSTRACT

As a contribution to interpretable machine learning research, we develop a novel optimization framework for learning accurate and sparse two-level Boolean rules. We consider rules in both conjunctive normal form (AND-of-ORs) and disjunctive normal form (OR-of-ANDs). A principled objective function is proposed to trade classification accuracy and interpretability, where we use Hamming loss to characterize accuracy and sparsity to characterize interpretability. We propose efficient procedures to optimize these objectives based on linear programming (LP) relaxation, block coordinate descent, and alternating minimization. Experiments show that our new algorithms provide very good tradeoffs between accuracy and interpretability.

研究の動機と目的

• 信頼性、監査可能性、デバッグが不可欠な高リスク意思決定文脈における解釈可能な機械学習モデルの需要に対処すること。
• 一貫した目的関数を持たず、しばしば正解率または解釈可能性を犠牲にするヒューリスティック法やグリーディ法の限界を克服すること。
• 分類正解率（ハミング損失を介して）とルールのスパarsity（解釈可能性）を同時に最適化する原理的で一貫した最適化フレームワークを構築すること。
• 入力特徴の任意のブール関数を表現可能な、より表現力のある2段階ルール（CNFおよびDNF）の学習を可能にすること。
• 既存の最適化ベースの手法を改善し、効率的なアルゴリズム（LP緩和および交互最小化に基づく）を用いた、統一的かつ微分可能な目的関数を導入すること。

提案手法

• 分類誤差（ハミング損失）と解釈可能性（スパarsity）の両方を最小化することを目的として、これらを重み付き組み合わせとして統一的な目的関数を定式化する。
• ルール学習の二値整数計画問題の性質を扱うために線形計画法（LP）緩和を用い、非凸で組合せ的な問題の効率的最適化を可能にする。
• ブロック座標降下法（BCD）と交互最小化（AM）を用いて、ルール構造と特徴重みの反復的最適化を実行し、各部分問題はLP緩和によって解く。
• クラウーズを無効化できるようにするため、常にオンである「ダミー」特徴を導入し、事前にクラウーズ数を固定せずに動的クラウーズ選択を可能にする。
• ド・モルガンの法則を適用して、CNFベースのフレームワークをDNFルール学習に拡張し、対称性と広範な適用可能性を確保する。
• データセット全体で正解率と解釈可能性のバランスを取るために、スパarsityパラメータθをネストドクロスバリデーションによりチューニングする。

実験結果

リサーチクエスチョン

• RQ1 ヒューリスティック法やグリーディ法と比較して、原理的で一貫した最適化フレームワークは、2段階ブールルール学習における正解率と解釈可能性のトレードオフを改善できるか？
• RQ2 提案されたBCDおよびAMアルゴリズムは、RIPPER、C5.0、CART、および集合被覆法（SC）といった最先端手法と比較して、正解率とスパarsityの両面で優れているか？
• RQ3 1段階ルールと比較して、2段階ルール（CNF/DNF）は、高い解釈可能性を維持しつつ、分類正解率でどの程度優れているか？
• RQ4 線形計画法の緩和と交互最小化は、スパースで正確なブールルールを学習する組合せ最適化問題を効果的に解けるか？
• RQ5 提案されたフレームワークは大規模データセットに効果的にスケーリングできるか？また、実世界のデータにおける特徴数と誤差率の観点から、既存手法と比較してどの程度優れているか？

主な発見

• 提案されたBCDおよびAMアルゴリズムは、すべてのデータセットで1段階ルール（OCRL）よりも顕著に低いテスト誤差率を達成しており、2段階ルールの優れた表現力が裏付けられている。
• BCDとAMは、すべてのデータセットで集合被覆法（SC）よりも正解率で優れており、BCDはWDBCで最高の正解率、AMはPimaで最高の正解率を記録した。
• BCDとAMは、C5.0やCARTよりも顕著にスパarsity（使用特徴数）が低く、同時に競争的または優れた正解率を維持している。
• 大規模なMAGICおよびMuskデータセットでは、RIPPERが110.0および92.0の特徴を選択した一方で、BCDは11.4および26.5にとどまり、スケーラビリティまたは過学習の懸念が示唆された。
• データセット全体の平均スパarsityは、BCD（3.1）が1位、AM（3.4）が2位であり、DList（2.3）、C5.0（6.0）、RIPPER（3.4）と比較して優れた解釈可能性を示している。
• パーキンソン病データセットで学習された例のルールは、低周波数や体積変動の低下といった、既知の医学的所見と一致する重要な臨床指標を正しく特定している。