[논문 리뷰] An Optimization Approach to Learning Falling Rule Lists

Chaofan Chen, Cynthia Rudin|arXiv (Cornell University)|2017. 10. 06.

Data Mining Algorithms and Applications참고 문헌 1인용 수 9

한 줄 요약

이 논문은 몬테카를로 탐색과 경계를 활용한 효율적 탐색 공간 축소 기법을 사용하여 해석 가능한, 단조성 조건을 만족하는 이진 분류를 위한 확률적 결정 리스트인 '낙하 규칙 리스트'를 최적화 기반으로 학습하는 방법을 제안한다. 이 방법은 베이지안 방법과 유사한 높은 영향력의 규칙를 더 적은 반복 수로 식별하면서도 훈련 수렴 속도가 빠르며, bank-full 데이터셋에서의 성능이 입증되었다.

ABSTRACT

A falling rule list is a probabilistic decision list for binary classification, consisting of a series of if-then rules with antecedents in the if clauses and probabilities of the desired outcome ("1") in the then clauses. Just as in a regular decision list, the order of rules in a falling rule list is important -- each example is classified by the first rule whose antecedent it satisfies. Unlike a regular decision list, a falling rule list requires the probabilities of the desired outcome ("1") to be monotonically decreasing down the list. We propose an optimization approach to learning falling rule lists and "softly" falling rule lists, along with Monte-Carlo search algorithms that use bounds on the optimal solution to prune the search space.

연구 동기 및 목표

• 규칙 리스트의 예측 확률이 단조롭게 감소하도록 보장하는 효율적인 최적화 프레임워크를 개발한다.
• 특히 단조성 제약 조건을 포함한 제약 조건이 있는 규칙 리스트 학습 문제를 해결하며, 이는 탐욕적 또는 베이지안 방법으로는 처리하기 어려운 과제이다.
• 기존의 베이지안 방법에 비해 훈련 속도를 향상시키고 확장성을 높이면서도 규칙 리스트의 해석 가능성은 유지한다.
• 단조성 제약 조건을 유연하게 완화할 수 있도록 허용하는 '부드럽게 낙하하는' 규칙 리스트라는 새로운 개념을 도입한다.
• 실제 데이터셋(예: bank-full)에서 높은 영향력이 있는 해석 가능한 규칙을 효과적으로 식별할 수 있음을 실증적으로 검증한다.

제안 방법

• 낙하 규칙 리스트를 단조롭게 감소하는 결과 확률을 가지는 확률적 결정 리스트로 수학적으로 정의한다.
• 최적 해에 대한 경계를 활용하여 탐색 공간을 축소하는 몬테카를로 탐색 방법인 알고리즘 FRL을 제안한다.
• 목적 함수에 페널티 항을 도입하여 엄격한 단조성 제약 조건을 완화함으로써 '부드럽게 낙하하는' 규칙 리스트를 도입한다.
• 경계 기반의 탐색 공간 축소 전략을 활용하여 탐색 중 계산 비용을 줄이고 효율성을 향상시킨다.
• 희귀한 양성 결과를 우선시하기 위해 양성 클래스 가중치(예: w=7)를 목적 함수에 적용한다.
• 동일한 조건에서 베이지안 학습과 비교하여 bank-full 데이터셋에 본 방법을 적용한다.

실험 결과

연구 질문

• RQ1 최적화 프레임워크는 단조성 제약 조건을 유지하면서도 해석 가능성을 확보한 채 낙하 규칙 리스트를 효과적으로 학습할 수 있는가?
• RQ2 수렴 속도와 규칙 품질 측면에서 제안된 최적화 방법은 베이지안 학습에 비해 어떻게 성능을 발휘하는가?
• RQ3 학습된 낙하 규칙 리스트가 다양한 실행 및 방법 간에 일관된 고영향도 조건을 식별하는 데 얼마나 효과적인가?
• RQ4 '부드럽게 낙하하는' 규칙 리스트 개념은 해석 가능성 손실 없이 모델의 유연성을 향상시킬 수 있는가?
• RQ5 경계 기반 탐색 공간 축소 전략은 탐색 시간을 상당히 줄일 수 있는가?

주요 결과

• 최적화 기반 알고리즘 FRL은 베이지안 방법보다 더 빠른 훈련 수렴 속도를 보였으며, 3000회 반복 시 베이지안 방법(6000회 반복)과 동일한 상위 규칙을 식별했다.
• 베이지안 방법과 최적화 방법 모두 여러 실행에서 동일한 상위 네 개의 규칙을 식별하여 높은 영향력의 조건을 일관되게 발견함을 시사한다.
• w=7로 설정한 최적화 기반 낙하 규칙 리스트는 poutcome=success 및 housing=no를 가진 고객의 상위 규칙 확률이 0.70으로 도출되었다.
• poutcome=success 및 previous≥2 조건에서 0.55의 성공 확률을 가지는 규칙를 성공적으로 식별하여 희귀하지만 중요한 사례에 민감하게 반응함을 보였다.
• '부드럽게 낙하하는' 규칙 리스트 개념은 신규이며, 단조성 제약 조건을 통제 가능하게 완화함으로써 모델 적합도를 향상시키면서도 해석 가능성은 유지한다.
• 경계 기반 탐색 공간 축소 전략은 탐색 공간을 상당히 줄여주어 규칙 리스트의 구조 탐색을 효율적으로 수행할 수 있도록 했다.