[논문 리뷰] Interpreting Tree Ensembles with inTrees

Houtao Deng|arXiv (Cornell University)|2014. 08. 23.

Neural Networks and Applications참고 문헌 4인용 수 47

한 줄 요약

이 논문은 랜덤 포레스트와 부스팅 트리와 같은 트리 앙상블에서 해석 가능한 규칙를 추출하고, 측정하고, 잘라내고, 선택하는 프레임워크인 inTrees를 소개한다. 이는 모델의 해석 가능성, 디버깅, 그리고 구현을 가능하게 한다. 이 방법은 경쟁적인 성능을 보이는 단순화된 규칙 기반 학습기(STEL)를 생성하며, 18개의 UCI 데이터셋 중 13개에서 rpart를 뛰어넘는 통계적으로 유의미한 성능 향상을 보였다.

ABSTRACT

Tree ensembles such as random forests and boosted trees are accurate but difficult to understand, debug and deploy. In this work, we provide the inTrees (interpretable trees) framework that extracts, measures, prunes and selects rules from a tree ensemble, and calculates frequent variable interactions. An rule-based learner, referred to as the simplified tree ensemble learner (STEL), can also be formed and used for future prediction. The inTrees framework can applied to both classification and regression problems, and is applicable to many types of tree ensembles, e.g., random forests, regularized random forests, and boosted trees. We implemented the inTrees algorithms in the "inTrees" R package.

연구 동기 및 목표

• 랜덤 포레스트와 부스팅 트리와 같은 트리 앙상블의 해석 가능성 부족 문제를 해결하여 이해, 디버깅, 그리고 구현을 가능하게 하기 위해.
• 트리 앙상블에서 규칙를 체계적으로 추출하고, 측정하며, 처리하여 모델의 투명성을 향상시키기 위해.
• 미래의 구현을 위해 예측 성능를 유지하는 추출된 규칙에서 단순화된 규칙 기반 학습기(STEL)를 만들기 위해.
• 트리 앙상블에서 빈번한 변수 상호작용을 식별하고, 데이터의 기본 패턴을 드러내기 위해.
• 다양한 트리 앙상블 유형(랜덤 포레스트 및 부스팅 트리 포함)에 적용 가능한 효율적이고 분산 처리 가능한 규칙 추출 및 처리를 가능하게 하기 위해.

제안 방법

• 루트 노드에서 리프 노드까지의 경로를 따라가면서 앙상블의 각 결정 트리에서 규칙을 추출하여, 조건(C)을 변수-값 쌍의 논리곱으로, 리프 노드의 결과(T)를 결과로 구성한다.
• 개별 규칙 내에서 관련 없거나 중복되는 변수-값 쌍을 제거하기 위해 규칙 정제를 적용하여 명확성 향상과 과적합 방지를 도모한다.
• 빈도 및 정확도와 같은 통계적 측정치를 기반으로 규칙를 순위 매기고, 비중복적인 작고 효과적인 규칙 집합을 선택한다.
• 규칙 간의 동시 발생 조건을 분석하여 빈번한 변수 상호작용을 식별함으로써 데이터 내 핵심 예측 변수 관계를 드러낸다.
• 선택된 규칙에서 단순화된 트리 앙상블 학습기(STEL)를 구성하여 생산 환경에서의 효율적 예측을 가능하게 한다.
• inTrees R 패키지에 프레임워크를 구현하여 이진 분할 트리 지원 및 분산 시스템에서의 병렬 처리를 가능하게 한다.

실험 결과

연구 질문

• RQ1 랜덤 포레스트와 부스팅 트리와 같은 복잡한 트리 앙상블에서 해석 가능한 규칙를 효과적으로 추출하여 모델의 투명성을 향상시킬 수 있는가?
• RQ2 추출된 규칙 내에서 중복되거나 관련 없는 변수-값 쌍을 체계적으로 정제하여 규칙의 명확성과 일반화 능력을 향상시킬 수 있는가?
• RQ3 트리 앙상블 규칙에서 유도된 단순화된 규칙 기반 학습기(STEL)가 rpart와 같은 전통적 학습기와 비교해 성능을 유사하거나 뛰어나게 유지할 수 있는가?
• RQ4 트리 앙상블 규칙에서 어떤 빈번한 변수 상호작용을 발견할 수 있으며, 이는 데이터의 기본 구조를 어떻게 반영하는가?
• RQ5 inTrees 프레임워크는 확장 가능한 규칙 추출 및 처리를 위해 분산 컴퓨팅 환경에서 효율적으로 구현될 수 있는가?

주요 결과

• 단순화된 트리 앙상블 학습기(STEL)는 18개의 UCI 데이터셋 중 13개에서 rpart보다 통계적으로 유의미한 차이로 뛰어난 예측 성능를 보이며, 규칙 처리 후 강력한 성능를 입증했다.
• STEL은 단지 5개의 데이터셋에서 rpart에 뒤지며, 성능이 열 劣한 경우에도 오직 한 번(16.6%)에서 10% 이상의 상대적 차이가 발생하여 강건성을 보였다.
• 18개 데이터셋 중 14개에서 빈도 >0.1인 가장 정확한 규칙의 오차율이 0이었으며, 대부분의 경우 높은 규칙 품질과 일반화 능력을 보였다.
• 'led7' 데이터셋의 규칙은 오차율이 0.211(21.1%)이었으며, 이는 표 9에서의 전체 오차율과 일치하여 규칙 집합이 데이터의 난이도를 반영하고 있음을 시사했다.
• inTrees 프레임워크는 다양한 트리 앙상블에서 해석 가능한 규칙와 빈번한 변수 상호작용을 성공적으로 추출하였으며, 분류 및 회귀 작업 모두에 적합하였다.
• inTrees R 패키지는 확장 가능하고 분산 처리 가능한 규칙 추출 및 처리를 가능하게 하여, 다양한 프로그래밍 환경에서의 실세계 구현에 적합하다.