[논문 리뷰] Interpretable Random Forests via Rule Extraction

Clément Bénard, Gérard Biau외 2명|arXiv (Cornell University)|2020. 04. 29.

Neural Networks and Applications참고 문헌 36인용 수 25

한 줄 요약

SIRUS는 랜덤 포레스트에서 자주 발생하는 경로를 선택하여 간결하고 견고한 규칙 목록을 도출하는 안정적이고 해석 가능한 회귀 규칙 추출 알고리즘입니다. 미세한 정규성 조건 하에서 규칙 선택의 점근적 일致성에 의해 이론적으로도, 경험적으로도 입증되며, 최첨단 예측 정확도를 달성하면서도 높은 안정성과 단순성을 확보합니다.

ABSTRACT

We introduce SIRUS (Stable and Interpretable RUle Set) for regression, a stable rule learning algorithm which takes the form of a short and simple list of rules. State-of-the-art learning algorithms are often referred to as "black boxes" because of the high number of operations involved in their prediction process. Despite their powerful predictivity, this lack of interpretability may be highly restrictive for applications with critical decisions at stake. On the other hand, algorithms with a simple structure-typically decision trees, rule algorithms, or sparse linear models-are well known for their instability. This undesirable feature makes the conclusions of the data analysis unreliable and turns out to be a strong operational limitation. This motivates the design of SIRUS, which combines a simple structure with a remarkable stable behavior when data is perturbed. The algorithm is based on random forests, the predictive accuracy of which is preserved. We demonstrate the efficiency of the method both empirically (through experiments) and theoretically (with the proof of its asymptotic stability). Our R/C++ software implementation sirus is available from CRAN.

연구 동기 및 목표

• 기존 규칙 기반 모델과 블랙박스 알고리즘의 불안정성을 회귀 과제에서 해결하기 위해.
• 해석 가능성, 안정성, 예측 정확도를 하나의 프레임워크 안에서 통합하는 방법을 개발하기 위해.
• 빈도 기반 규칙 선택을 통해 랜덤 포레스트에서 압축되고 안정적이며 해석 가능한 규칙 집합을 추출하기 위해.
• 약간의 정규성 조건 하에서 규칙 선택 과정의 점근적 안정성을 증명하기 위해.
• 실제 응용에서 투명한 의사결정이 요구되는 분야에 실용적이고 오픈소스로 제공 가능한 구현을 제공하기 위해.

제안 방법

• SIRUS는 안정성을 향상시키기 위해 분할을 q-경험적 분위수(예: q=10)로 제한한 큰 랜덤 포레스트를 구축합니다.
• 모든 트리의 각 노드는 입력 공간 내에서 일정한 예측을 가지는 초직사각형을 정의하는 기본 규칙로 변환됩니다.
• 규칙는 포레스트 전반에서의 경험적 빈도 기반으로 선택되며, 가장 견고한 패턴을 걸러내기 위해 임계값 p0를 사용합니다.
• 후처리 단계에서는 선형적으로 종속된 규칙을 제거하고 희소 선형 집합을 통해 최소 비중복 규칙 집합을 선택합니다.
• 이론적 분석은 경로를 기호적 경로 표현 P = {(jk, rk, sk)}로 정의하고, 선택된 규칙 집합의 점근적 안정성을 유도합니다.
• 이 방법은 이론적 일치성에 기반합니다: 표본 크기가 증가함에 따라 독립적인 실행 간에 동일한 규칙 목록이 일관되게 선택됩니다.

실험 결과

연구 질문

• RQ1 규칙 기반 회귀 모델이 데이터 변형에 대해 안정성을 유지하면서도 높은 예측 정확도를 달성할 수 있는가?
• RQ2 트리 분할을 분위수 기반 임계값으로 제한하면 랜덤 포레스트에서의 규칙 추출 안정성이 향상되는가?
• RQ3 랜덤 포레스트에서 빈도 기반 규칙 선택이 점근적으로 일관되고 안정적인가?
• RQ4 규칙 집합 크기, 안정성, 예측 성능 측면에서 SIRUS는 기존의 규칙 기반 방법들인 RuleFit 및 Node Harvest와 어떻게 비교되는가?
• RQ5 예측 능력을 희생시키지 않고 트리 앙상블에서 안정적이고 해석 가능한 규칙 집합을 도출할 수 있는가?

주요 결과

• SIRUS는 경쟁 제품들(30–50개 규칙)과 비교해 일반적으로 10개 미만의 규칙로 구성된 훨씬 더 짧고 안정적인 규칙 목록을 생성합니다.
• 경험적 결과는 SIRUS가 최첨단 방법과 유사한 예측 정확도를 유지함을 보여주며, 다양한 데이터셋에서 최고 성능을 낸 방법과 비교해 설명되지 않은 분산이 10% 이내입니다.
• ‘Machine’ 데이터셋에서 SIRUS는 10겹 교차검증 시 평균 설명되지 않은 분산이 0.27을 기록했으며, 최고 성능을 낸 방법과 동일한 수준이지만 더 안정적인 성능을 보였습니다.
• 이론적 분석은 SIRUS가 점근적으로 안정적임을 증명합니다: 표본 크기가 증가함에 따라 독립적인 실행 간에 동일한 규칙 목록이 일관되게 선택됩니다.
• 이 방법의 안정성은 분위수 기반 분할과 부스팅 앙상블이 아닌 랜덤 포레스트의 사용 덕분이며, 데이터 변형에 대한 민감도를 감소시킵니다.
• R/C++로 작성된 'sirus' 이름의 구현 버전이 CRAN에 공개되어 있어 산업 및 과학적 응용 분야에서 실용적 구현이 가능합니다.