[論文レビュー] GENESIM: genetic extraction of a single, interpretable model

Gilles Vandewiele, Olivier Janssens+3 more|arXiv (Cornell University)|Nov 17, 2016

Gene expression and cancer classification参考文献 8被引用数 25

ひとこと要約

GENESIM は、アンサンブルの意思決定木を、予測性能がアンサンブル手法と同等でありながら、非常に解釈可能な単一の意思決定木に変換する遺伝的アルゴリズムに基づく手法である。予測性能の高いアンサンブルから得られる予測に基づいたフィットネス関数を用いて、候補となる木の集団を進化させることで、GENESIM は精度と解釈可能性のバランスを図り、標準的な意思決定木アルゴリズムを上回り、アンサンブル手法と同等の性能を示しながら、最小限のモデル複雑度を実現する。

ABSTRACT

Models obtained by decision tree induction techniques excel in being interpretable.However, they can be prone to overfitting, which results in a low predictive performance. Ensemble techniques are able to achieve a higher accuracy. However, this comes at a cost of losing interpretability of the resulting model. This makes ensemble techniques impractical in applications where decision support, instead of decision making, is crucial. To bridge this gap, we present the GENESIM algorithm that transforms an ensemble of decision trees to a single decision tree with an enhanced predictive performance by using a genetic algorithm. We compared GENESIM to prevalent decision tree induction and ensemble techniques using twelve publicly available data sets. The results show that GENESIM achieves a better predictive performance on most of these data sets than decision tree induction techniques and a predictive performance in the same order of magnitude as the ensemble techniques. Moreover, the resulting model of GENESIM has a very low complexity, making it very interpretable, in contrast to ensemble techniques.

研究の動機と目的

• 機械学習における予測精度とモデルの解釈可能性のトレードオフを解消すること。
• アンサンブルモデルを単一の人に読みやすい意思決定木に変換する後処理技術を開発すること。
• アンサンブル手法と比較して、顕著にモデルの複雑度を低減しつつ、高い予測性能を維持すること。
• 医療や金融など、専門家による解釈が求められる分野での実用的導入を可能にすること。
• 分散モデル学習と遺伝的最適化を組み合わせることで、ビッグデータにスケーラブルなソリューションを提供すること。

提案手法

• GENESIM は、既存の意思決定木のアンサンブルからの予測に基づいて、候補となる意思決定木の集団を遺伝的アルゴリズムで進化させる。
• フィットネス評価は、候補木の予測を訓練データ上のアンサンブルの平均予測と比較することで実施される。
• 選択、交差、突然変異の演算子を用いて、世代を重ねてより優れた性能の木を進化させる。
• 早期収束を防ぎ、探索空間の多様性を維持するための多様性メカニズムを導入している。
• 貪欲な分割と遺伝的探索を組み合わせたハイブリッドアプローチにより、収束速度と解の質を向上させている。
• 最終的なモデルは、精度と解釈可能性のバランスが取れた単一の意思決定木であり、ノード数が少なく、明確な意思決定経路を持つ。

実験結果

リサーチクエスチョン

• RQ1 アンサンブルの木から、高い予測性能を維持したまま、解釈可能な単一の意思決定木を構築できるか？
• RQ2 GENESIM の予測精度は、多様なデータセットにおいて、標準的な意思決定木の学習法やアンサンブル手法と比較してどうなるか？
• RQ3 精度を損なわず、アンサンブル手法と比較して、GENESIM がどの程度モデルの複雑度を低減できるか？
• RQ4 遺伝的アルゴリズムのアプローチが、アンサンブル性能に匹敵またはそれを上回る意思決定木の構造を効果的に最適化できるか？
• RQ5 GENESIM は、専門家による解釈が求められる実世界の応用にスケーラブルかつ実用的か？

主な発見

• GENESIM は、12 個のデータセットのうち 10 個で C4.5、CART、QUEST よりも高い予測精度を達成し、標準的な意思決定木アルゴリズムと比較して優れた性能を示した。
• 心臓病、乳癌、赤ワインのデータセットでは、GENESIM の精度（0.8557、0.9591、0.9709）が XGBoost およびランダムフォレストと 1% 以内の差にとどまり、アンサンブル手法と同等の性能を示した。
• GENESIM は顕著に低いモデル複雑度を実現した。例えば、心臓病データセットではノード数がたったの 17.44 であり、XGBoost の 408.48 や Random Forest の 448.61 と比べて極めて解釈可能である。
• ISM や STEL よりも高い精度を達成しながらも、より単純で解釈可能な構造を維持したため、従来の後処理技術の主な限界を克服した。
• 車両データセットでは、GENESIM が 0.7115 の精度を達成し、CART（0.6988）や ISM（0.6672）を上回り、モデル複雑度を顕著に低減した。
• GENESIM のモデル複雑度（平均ノード数 17.44）は、GUIDE（9.15）や C4.5（23.56）を含むすべての他の手法よりも一貫して低く、より高いまたは同等の精度を達成した。