[論文レビュー] A Nested Genetic Algorithm for Explaining Classification Data Sets with Decision Rules

Paul-Amaury Matt, Rosina Ziegler+3 more|arXiv (Cornell University)|Aug 23, 2022

Rough Sets and Fuzzy Logic被引用数 4

ひとこと要約

本稿では、分類データセットから要約的で正確かつ高カバレッジの意思決定ルール集合を自動抽出するために、二重遺伝的アルゴリズム（QGA）と呼ばれる新しい手法を提案する。ヒューリスティックな初期化（RF+HC）と、解の妥当性と適合度を向上させる二つの内部遺伝的アルゴリズムを組み合わせることで、QGAは最小限のルール複雑性と誤差で最大98.6％のカバレッジを達成し、10個の公開データセットにおいてベースライン手法を上回る性能を発揮した。

ABSTRACT

Our goal in this paper is to automatically extract a set of decision rules (rule set) that best explains a classification data set. First, a large set of decision rules is extracted from a set of decision trees trained on the data set. The rule set should be concise, accurate, have a maximum coverage and minimum number of inconsistencies. This problem can be formalized as a modified version of the weighted budgeted maximum coverage problem, known to be NP-hard. To solve the combinatorial optimization problem efficiently, we introduce a nested genetic algorithm which we then use to derive explanations for ten public data sets.

研究の動機と目的

• 分類データセットを説明するコン pact で正確かつ高カバレッジの意思決定ルール集合を自動で抽出すること。
• 最適なルール集合の選択がNP困難であることを踏まえ、修正された重み付き予算付き最大カバレッジ問題として定式化すること。
• 事後解釈手法の限界を克服し、本質的に解釈可能な（ホワイトボックス型）ルールベースモデルを生成すること。
• ヒューリスティックな初期化とマルチレベル遺伝的最適化を統合することで、より高いカバレッジと妥当性を実現する既存のルール抽出技術を改善すること。

提案手法

• 手法は、データに適合した決定木を訓練し、そこからルールを抽出することで、候補ルールの初期プールを形成する。
• 高いカバレッジと低い複雑性を持つルール集合の初期集団を生成するために、ヒューリスティック手法（RF+HC）を用いる。
• 二重遺伝的アルゴリズムアーキテクチャを採用し、二つの内部遺伝的アルゴリズムを活用する：一方は不等式制約（Ax ≤ b）を満たす解のサンプリングに、もう一方は有益な変異を生成するのに使用する。
• カバレッジ、正確性、ルール数、不整合性のバランスを取るためのフィットネス関数を最適化し、二次無制約バイナリ最適化（QUBO）の定式化を用いる。
• 内部遺伝的アルゴリズムは反復的に解を精錬し、妥当性を維持しながらカバレッジを向上させ、計算時間を短縮する。
• 最終的なルール集合は、30回の実行における最高のフィットネススコアに基づき選択され、安定性と一般化性能が保証される。

実験結果

リサーチクエスチョン

• RQ1 二重遺伝的アルゴリズムは、分類データセットの最適なルール集合選択というNP困難問題を効果的に解けるか？
• RQ2 内部遺伝的アルゴリズムの統合は、標準的な進化的アプローチと比較して、解の妥当性とカバレッジをどの程度向上させるか？
• RQ3 提案手法は、ベースラインのルール抽出技術と比較して、より高いカバレッジと低いルール複雑性・誤差数を達成できるか？
• RQ4 ヒューリスティックで初期化された集団に加え、マルチレベル遺伝的最適化を組み合わせることで、よりスケーラブルで頑健なルール集合生成が可能になるか？

主な発見

• Tic-tac-toeデータセットにおいて、QGAは最大98.6％のカバレッジを達成し、RF+HC（96.3％）とIRFRE（14.4％）を大きく上回った。
• Blood Transfusionデータセットでは、QGAが99.1％の正確性（96.9/100のカバレッジ、誤差149.4/150）を達成し、RF+HC（97.9％の正確性、96.4/100のカバレッジ）を上回った。
• IRFREおよびIRFRE RF+HCと比較して、計算時間を短縮し、ほとんどのデータセットで120秒未満で高いカバレッジを達成した。
• ネストド遺伝的アルゴリズムは、標準的な遺伝的アルゴリズムで生じる非妥当な解の問題を効果的に克服し、世代を経て一貫したフィットネス向上を実現した。
• Mammographic Massデータセットでは、QGAが84.6/90のカバレッジ（誤差148.7/150）で97.3％の正確性を達成し、IRFRE（81.9％の正確性、46.6/90のカバレッジ）を上回った。
• フィットネスの進化曲線は、すべてのデータセットで世代を経て一貫した向上を示し、最小・平均・最大のフィットネススコアが100％に収束した。