[논문 리뷰] LIBRE: Learning Interpretable Boolean Rule Ensembles

Graziano Mita, Paolo Papotti외 2명|arXiv (Cornell University)|2019. 11. 15.

Explainable Artificial Intelligence (XAI)참고 문헌 35인용 수 5

한 줄 요약

LIBRE는 무작위 특성 부분집합에서 작동하는 하향식 약한 학습기들을 조합하여 해석 가능한 부울 규칙 집합을 학습하는 새로운 앙상블 방법이다. 이는 균형 잡힌 데이터와 불균형 데이터 모두에서 뛰어난 일반화 성능을 달성한다. LIBRE는 경쟁적인 예측 성능를 제공하면서도 매우 간결하고 인간이 읽을 수 있는 규칙 집합을 생성하며, 해석 가능성과 확장성 면에서 기존의 규칙 기반 방법을 능가한다. 또한 사전 처리 없이도 결측치를 자연스럽게 처리할 수 있다.

ABSTRACT

We present a novel method - LIBRE - to learn an interpretable classifier, which materializes as a set of Boolean rules. LIBRE uses an ensemble of bottom-up weak learners operating on a random subset of features, which allows for the learning of rules that generalize well on unseen data even in imbalanced settings. Weak learners are combined with a simple union so that the final ensemble is also interpretable. Experimental results indicate that LIBRE efficiently strikes the right balance between prediction accuracy, which is competitive with black box methods, and interpretability, which is often superior to alternative methods from the literature.

연구 동기 및 목표

• 기존의 규칙 기반 방법이 소수 클래스를 포착하지 못하는 불균형 데이터 환경에서, 해석 가능하면서도 정확한 분류기 학습의 과제를 해결하기 위해.
• 기존의 규칙 학습 방법의 한계—과도한 규칙 수, 낮은 일반화 능력, 노이즈 및 데이터 분할에 대한 민감성—을 앙상블 학습을 통해 극복하기 위해.
• 예측 성능를 블랙박스 모델과 경쟁할 수 있도록 유지하면서도, 해석 가능성을 위해 간결한 규칙 집합(적은 수의 규칙, 짧은 규칙 길이)을 유지하기 위해.
• 사전 처리 없이도 순수하게 연속형 및 이산형 특성에서의 결측치를 처리할 수 있도록 하여 실세계 적용 가능성을 높이기 위해.
• 특성 부분집합 및 효율적인 규칙 생성을 통해 계산 부담을 줄여 대규모 데이터셋에 대해 효과적으로 확장 가능하도록 하기 위해.

제안 방법

• LIBRE는 하향식 약한 학습기들의 앙상블을 사용하며, 각 학습기는 단일 예측 예시에서 출발하여 커버리지와 정확도 기반으로 일반화된 단조 증가 부울 함수 합성 방식으로 규칙를 생성한다.
• 각 약한 학습기는 무작위로 선택된 특성 부분집합에서 작동하여 과적합을 줄이고 일반화 능력을 향상시키며, 특히 불균형 상황에서 유리하다.
• 모든 약한 학습기에서 유도된 후보 규칙들은 단순한 합집합 연산을 통해 통합되며, 복잡한 메타모델이나 가중치 부여 방식을 피함으로써 해석 가능성을 유지한다.
• 규칙 크기나 지지도에 인위적인 제약을 두지 않아 복잡하고 의미 있는 패턴을 발견할 수 있으며, 앙상블 평균을 통해 간결함을 유지한다.
• 규칙 선택은 해석 가능성 목표에 따라 이뤄지며, 중복 최소화된 작은 규칙 집합을 선호하며, F1 점수와 규칙 수 지표를 통해 평가된다.
• 이 프레임워크는 이산형 및 연속형 특성에서의 결측치를 자연스럽게 지원하여, 보간 또는 이진화 등의 사전 처리 단계가 필요 없도록 한다.

실험 결과

연구 질문

• RQ1 하향식 규칙 학습기들의 앙상블은 불균형 데이터셋에서 일반화 능력과 강인성을 향상시키면서도 해석 가능성을 유지할 수 있는가?
• RQ2 LIBRE는 예측 성능, 규칙 집합의 간결성, 확장성 측면에서 최신 규칙 기반 방법과 비교해 어떻게 성과를 내는가?
• RQ3 LIBRE는 사전 처리 없이 결측치를 얼마나 잘 처리할 수 있으며, 이는 성능에 어떤 영향을 미치는가?
• RQ4 합집합을 통한 하향식 학습기의 조합은 블랙박스 모델과 경쟁 가능한 성능를 달성하면서도 해석 가능성을 유지하는가?
• RQ5 기존의 규칙 학습 방법과 비교해 LIBRE는 데이터셋 크기와 특성 차원이 증가함에 따라 어떻게 확장되는가?

주요 결과

• LIBRE는 XGBoost나 Random Forest와 같은 블랙박스 모델과 경쟁 가능한 F1 점수를 기록하며, 특히 다른 규칙 기반 방법이 실패하는 불균형 설정에서 유의미한 성능 향상을 보였다.
• 간간이 데이터셋과 어른 데이터셋에서, LIBRE는 10개 이내의 매우 간결한 규칙 집합을 생성하면서도 높은 F1 점수를 유지했으며, 해석 가능성 면에서 ripper-k, s-brl, brs를 능가했다.
• 대량의 결측치가 존재하는 Sap-Full 데이터셋에서, LIBRE는 사전 처리 없이도 강력한 성능를 유지했으며, ripper-k, brs, modlem은 연속형 특성 처리를 위해 사전 처리가 필요했다.
• 확장성 테스트에서, LIBRE는 100만 건의 레코드를 400초 이내(399±8초)에 학습을 완료했고, modlem과 brs는 동일한 데이터에서 메모리 부족 오류로 실패했다.
• LIBRE의 실행 시간은 데이터셋 크기에 대해 부분선형적으로 증가하며, 약한 학습기들이 양성 및 음성 집합을 별도로 처리하므로 대규모 데이터셋에서도 효과적인 계산을 수행한다.
• 이 방법은 매우 해석 가능한 모델을 생성한다: 예를 들어 Adult나 Bank와 같은 대규모 데이터셋에서도 평균적으로 10개 이내의 규칙을 생성하며, 규칙 길이가 급격히 증가하지 않는데, 이는 s-brl와는 달리 규칙 수 증가에 따라 복잡도가 급격히 증가하지 않는다는 점에서 유의미하다.