[논문 리뷰] A Nested Genetic Algorithm for Explaining Classification Data Sets with Decision Rules

Paul-Amaury Matt, Rosina Ziegler외 3명|arXiv (Cornell University)|2022. 08. 23.

Rough Sets and Fuzzy Logic인용 수 4

한 줄 요약

이 논문은 분류 데이터 세트에서 압축성, 정확성, 고카버리지 결정 규칙 집합을 자동으로 추출하기 위해 이중 유전 알고리즘인 이차 유전 알고리즘(QGA)을 제안한다. 히우리스틱 초기화(RF+HC)와 해법 탍도성 및 적합도를 향상시키는 두 개의 내부 유전 알고리즘을 결합함으로써 QGA는 최대 98.6%의 카버리지와 최소한의 규칙 복잡성 및 오류를 달성하며, 10개의 공개 데이터 세트에서 기준 방법들을 능가한다.

ABSTRACT

Our goal in this paper is to automatically extract a set of decision rules (rule set) that best explains a classification data set. First, a large set of decision rules is extracted from a set of decision trees trained on the data set. The rule set should be concise, accurate, have a maximum coverage and minimum number of inconsistencies. This problem can be formalized as a modified version of the weighted budgeted maximum coverage problem, known to be NP-hard. To solve the combinatorial optimization problem efficiently, we introduce a nested genetic algorithm which we then use to derive explanations for ten public data sets.

연구 동기 및 목표

• 분류 데이터 세트를 설명하는 압축성, 정확성, 고카버리지의 결정 규칙 집합을 자동으로 추출하는 것.
• 최적의 규칙 집합을 선택하는 문제의 NP-완전성에 대응하기 위해 이를 수정된 가중 예산 최대 카버리지 문제로 재정의하는 것.
• 후행 해석 가능성 방법의 한계를 극복하기 위해 본질적으로 해석 가능한(화이트박스) 규칙 기반 모델을 생성하는 것.
• 더 나은 카버리지와 탄력성 확보를 위해 히우리스틱 초기화와 다수준 유전 최적화를 통합함으로써 기존 규칙 추출 기법을 향상시키는 것.

제안 방법

• 방법은 데이터에 대해 훈련된 의사결정트리에서 규칙 추출을 시작하여 후보 규칙의 초깃집합을 형성한다.
• 높은 카버리지와 낮은 복잡성의 규칙 집합 초기 인구를 생성하기 위해 히우리스틱 접근법(RF+HC)을 사용한다.
• 이중 유전 알고리즘 아키텍처를 활용하며, 두 개의 내부 유전 알고리즘이 포함되어 있다: 하나는 부등식 제약 조건(Ax ≤ b)을 만족하는 해를 샘플링하고, 다른 하나는 유익한 변이를 생성한다.
• 카버리지, 정확도, 규칙 수, 일관성 불일치를 균형 잡는 적합도 함수를 최적화하며, 이는 이차 무제약 이진 최적화(QUBO) 공식화를 사용한다.
• 내부 유전 알고리즘은 반복적으로 해를 개선하여 카버리지 향상과 함께 탄력성 유지 및 계산 시간 단축을 달성한다.
• 최종 규칙 집합은 30회의 실행 동안 가장 높은 적합도 점수를 기반으로 선택되어 강건성과 일반화를 보장한다.

실험 결과

연구 질문

• RQ1 이중 유전 알고리즘이 분류 데이터 세트의 최적 규칙 집합 선택이라는 NP-완전 문제를 효과적으로 해결할 수 있는가?
• RQ2 내부 유전 알고리즘의 통합이 표준 진화적 접근법에 비해 해의 탄력성과 카버리지 향상에 어떻게 기여하는가?
• RQ3 제안된 방법이 기준 규칙 추출 기법에 비해 더 높은 카버리지와 더 낮은 규칙 복잡성 및 오류 수를 달성할 수 있는 정도는 어느 정도인가?
• RQ4 히우리스틱 초기화된 인구와 다수준 유전 최적화를 조합함으로써 더 스케일러블하고 강건한 규칙 집합 생성이 이루어지는가?

주요 결과

• QGA는 틱택토 데이터 세트에서 최대 98.6%의 카버리지 달성하여 RF+HC(96.3%)와 IRFRE(14.4%)를 크게 능가했다.
• 혈액 수혈 데이터 세트에서 QGA는 99.1%의 정확도, 96.9/100의 카버리지, 오직 149.4/150의 오류를 기록하여 RF+HC(97.9% 정확도, 96.4/100 카버리지)를 능가했다.
• IRFRE와 IRFRE RF+HC에 비해 계산 시간을 단축하여 대부분의 데이터 세트에서 120초 이내에 고카버리지 달성에 성공했다.
• 이중 유전 알고리즘이 표준 유전 알고리즘에서의 해가 타당하지 않은 문제를 성공적으로 해결하여 세대 간 일관된 적합도 향상을 가능하게 했다.
• 유방모세포 종양 데이터 세트에서 QGA는 97.3%의 정확도, 84.6/90의 카버리지, 148.7/150의 오류를 기록하여 IRFRE(81.9% 정확도, 46.6/90 카버리지)를 능가했다.
• 적합도 진화 곡선은 모든 데이터 세트에서 최소, 평균, 최대 적합도 점수가 100%로 수렴함을 보여주며 일관된 향상을 보였다.