[논문 리뷰] GENESIM: genetic extraction of a single, interpretable model

Gilles Vandewiele, Olivier Janssens외 3명|arXiv (Cornell University)|2016. 11. 17.

Gene expression and cancer classification참고 문헌 8인용 수 25

한 줄 요약

GENESIM는 앙상블 의사결정나무를 기반으로 한 유전 알고리즘 기반 방법으로, 예측 성능이 앙상블 방법과 유사하면서도 매우 해석 가능한 단일 의사결정나무로 변환한다. 앙상블 예측에서 유도된 적합도 함수를 사용해 후보 나무의 집단을 진화시킴으로써 GENESIM은 정확도와 해석 가능성의 균형을 이루며, 표준 의사결정나무 알고리즘을 능가하고 앙상블 성능를 유지하면서 모델 복잡도를 최소화한다.

ABSTRACT

Models obtained by decision tree induction techniques excel in being interpretable.However, they can be prone to overfitting, which results in a low predictive performance. Ensemble techniques are able to achieve a higher accuracy. However, this comes at a cost of losing interpretability of the resulting model. This makes ensemble techniques impractical in applications where decision support, instead of decision making, is crucial. To bridge this gap, we present the GENESIM algorithm that transforms an ensemble of decision trees to a single decision tree with an enhanced predictive performance by using a genetic algorithm. We compared GENESIM to prevalent decision tree induction and ensemble techniques using twelve publicly available data sets. The results show that GENESIM achieves a better predictive performance on most of these data sets than decision tree induction techniques and a predictive performance in the same order of magnitude as the ensemble techniques. Moreover, the resulting model of GENESIM has a very low complexity, making it very interpretable, in contrast to ensemble techniques.

연구 동기 및 목표

• 기계학습에서 예측 정확도와 모델의 해석 가능성 간의 상충 관계를 해결하기 위해.
• 앙상블 모델을 단일 인간이 읽을 수 있는 의사결정나무로 변환하는 후처리 기법을 개발하기 위해.
• 앙상블 방법보다 훨씬 낮은 모델 복잡도를 유지하면서도 높은 예측 성능를 유지하기 위해.
• 의료 및 금융과 같이 전문가의 해석이 요구되는 분야에서의 실용적 구현을 가능하게 하기 위해.
• 분산 모델 훈련과 유전 최적화를 조합하여 대규모 데이터에 대한 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• GENESIM는 기존의 의사결정나무 앙상블의 예측을 바탕으로 후보 의사결정나무 집단을 진화시키는 유전 알고리즘을 사용한다.
• 적합도 평가는 후보 나무의 예측을 훈련 데이터에서 앙상블의 평균 예측과 비교하여 수행된다.
• 세대에 걸쳐 선택, 교차, 변이 연산자를 적용하여 성능이 우수한 나무로 진화시킨다.
• 조기 수렴을 방지하고 검색 공간의 탐색을 유지하기 위해 다양성 메커니즘을 통합한다.
• 그리디 분할과 유전적 탐색을 조합한 하이브리드 접근 방식을 통해 수렴 속도와 해의 품질을 향상시킨다.
• 최종 모델은 정확도와 해석 가능성의 균형을 이룬 단일 의사결정나무로, 노드 수가 최소화되고 명확한 의사결정 경로를 가진다.

실험 결과

연구 질문

• RQ1 앙상블 나무 집합에서 예측 성능를 유지하면서도 높은 해석 가능성의 단일 의사결정나무를 구성할 수 있는가?
• RQ2 다양한 데이터셋에서 GENESIM의 예측 정확도는 표준 의사결정나무 유도 기법과 앙상블 방법과 비교해 어떻게 되는가?
• RQ3 정확도를 희생시키지 않고 GENESIM이 앙상블 기법에 비해 얼마나 모델 복잡도를 줄이는가?
• RQ4 유전 알고리즘 접근 방식이 앙상블 성능를 따라하거나 초월하는 의사결정나무의 구조를 효과적으로 최적화할 수 있는가?
• RQ5 의사결정 지원이 요구되는 실세계 응용 분야에서 GENESIM은 확장 가능하고 실용적인가?

주요 결과

• GENESIM은 12개 데이터셋 중 10개에서 C4.5, CART, QUEST보다 높은 예측 정확도를 기록하여 표준 의사결정나무 알고리즘보다 뛰어난 성능을 입증했다.
• 심장병, 유방암, 포도주 데이터셋에서 GENESIM의 정확도(0.8557, 0.9591, 0.9709)는 XGBoost와 랜덤 포레스트와 1% 이내로 유사하여 앙상블 방법과 동등한 성능를 보였다.
• GENESIM는 매우 낮은 복잡도를 기록했다—예를 들어 심장병 데이터셋에서 노드 수가 17.44개 뿐이었고, XGBoost는 408.48개, 랜덤 포레스트는 448.61개였으며, 이는 매우 해석 가능한 모델임을 의미한다.
• ISM과 STEL보다 정확도는 높고 더 단순하고 해석 가능한 구조를 유지함으로써 이전의 후처리 기법의 주요 한계를 해결했다.
• 차량 데이터셋에서 GENESIM는 정확도 0.7115를 기록하여 CART(0.6988)와 ISM(0.6672)를 모두 뛰어넘었고, 모델 복잡도도 크게 감소시켰다.
• GENESIM의 모델 복잡도(평균 17.44개의 노드)는 GUIDE(9.15)와 C4.5(23.56)를 포함한 모든 다른 방법보다 일관되게 낮았으며, 정확도는 더 높거나 유사했다.