[논문 리뷰] Making Tree Ensembles Interpretable: A Bayesian Model Selection Approach

Satoshi Hara, Kohei Hayashi|arXiv (Cornell University)|2016. 06. 29.

Explainable Artificial Intelligence (XAI)참고 문헌 17인용 수 18

한 줄 요약

이 논문은 예측 성능을 훼손하지 않으면서 복잡한 트리 앙상블을 해석 가능한 저복잡도 모델로 단순화하기 위한 베이지안 모델 선택 방법을 제안한다. 모델 단순화를 베이지안 모델 선택 문제로 간주하고, FAB 추론을 사용해 간접적인 우도 근사를 가능하게 함으로써, 원래 앙상블의 예측 정확도를 유지하면서도 결정 영역 수를 크게 줄인 최소한의 규칙 기반 표현을 자동으로 식별한다.

ABSTRACT

Tree ensembles, such as random forests and boosted trees, are renowned for their high prediction performance. However, their interpretability is critically limited due to the enormous complexity. In this study, we present a method to make a complex tree ensemble interpretable by simplifying the model. Specifically, we formalize the simplification of tree ensembles as a model selection problem. Given a complex tree ensemble, we aim at obtaining the simplest representation that is essentially equivalent to the original one. To this end, we derive a Bayesian model selection algorithm that optimizes the simplified model while maintaining the prediction performance. Our numerical experiments on several datasets showed that complicated tree ensembles were reasonably approximated as interpretable.

연구 동기 및 목표

• 트리 앙상블의 투명성 부족 문제를 해결하기 위해, 1,000개 이상의 결정 영역을 포함할 수 있어 수동으로 해석하기 어려운 문제를 해결한다.
• 예측 성능에서 원래 모델과 본질적으로 동일한 수준을 유지하면서도 가장 단순한 모델을 찾는 것을 목표로, 트리 앙상블 단순화를 베이지안 모델 선택 문제로 체계화한다.
• 무한한 가능한 영역 구성에 대한 탐색이 비가역적임을 해결하기 위해 확률적 모델 표현과 효율적인 추론을 사용한다.
• 외부 캐릭터 평가나 수동 하이퍼파라미터 튜닝 없이도 자동으로 모델 복잡도를 선택할 수 있도록 한다.
• 에너지 효율성 데이터에서 크기 기반 하중 예측과 같이 인간이 이해할 수 있는 패턴을 반영한 규칙 기반 모델을 생성한다.

제안 방법

• 베이지안 모델 선택에 필수적인 간접 우도 계산을 가능하게 하기 위해 원래 트리 앙상블을 확률적 모델로 표현한다.
• 간접 우도를 효율적으로 근사하기 위해 인자화된 점근적 베이지안(FAB) 추론을 적용하여 계산 가능 형태로 변환한다.
• FAB 추론이 내장한 모델 정제 메커니즘을 활용해 수동 하이퍼파라미터 검색 없이도 최적의 모델 복잡도를 자동으로 결정한다.
• 원래 앙상블의 예측 정밀도를 유지하면서도 모델 복잡도를 최소화할 수 있도록 입력 공간의 분할을 최적화한다. 이는 결정 영역 경계를 학습하여 달성된다.
• 영역 구성에 대한 탐색 문제로 간주하지만, 간접 우도 근사를 기반으로 한 기울기 기반 최적화를 통해 전수 탐색을 피한다.
• 확률적 프레임워크 내에서 출력을 연속 값 또는 원-핫 벡터로 모델링함으로써 회귀 및 분류 작업을 모두 지원한다.

실험 결과

연구 질문

• RQ1 복잡한 트리 앙상블을 원래 예측 성능을 유지하면서도 최소한의 결정 영역을 가진 해석 가능한 모델로 단순화할 수 있는가?
• RQ2 XGBoost와 같은 비확률적 트리 앙상블에 대해, 이를 확률적 모델로 재구성함으로써 베이지안 모델 선택을 적용할 수 있는가?
• RQ3 FAB 추론의 사용이 수동으로 모델 복잡도를 튜닝하지 않고도 자동이고 효율적인 모델 선택을 가능하게 하는가?
• RQ4 단순화된 모델이 에너지 효율성 예측에서 크기 기반 영향과 같은 직관적인 데이터 패턴을 반영한 인간이 이해할 수 있는 규칙을 생성할 수 있는가?
• RQ5 기존의 단순화 기준인 BATrees, inTrees, Node Harvest와 비교했을 때, 제안된 방법은 해석 가능성과 성능 면에서 어떻게 다른가?

주요 결과

• 제안된 방법은 모든 데이터셋에서 원래 트리 앙상블 대비 결정 영역 수를 90% 감소시켰으며, 예측 성능 손실는 최소한이었다.
• 에너지 효율성 데이터셋에서, 전체 높이와 벽 면적을 기반으로 한 직관적인 두 특성의 네 가지 규칙만을 추출하여, 작은 건물에서는 낮은 하중, 큰 건물에서는 높은 하중을 명확히 보여주었다.
• 해석 가능성 면에서 BATrees, inTrees, Node Harvest를 모두 능가했으며, 제안된 모델는 66, 23, 10개의 규칙 대비 단 4개의 규칙만을 사용했다.
• 예측 성능 측면에서 제안된 방법은 근사 최적의 정확도를 유지했으며, Synthetic1에서 평균 테스트 오차는 1.01±0.03로 기준 방법보다 유의미하게 낮았다.
• FAB 추론 기반 접근은 외부 하이퍼파라미터 튜닝이나 여러 후보 평가가 필요 없이도 자동으로 모델 선택을 달성했다.
• 단순화된 모델은 해석 가능성 뿐 아니라 의미 있는 도메인 맞춤 패턴도 반영했다. 예를 들어, 건물 크기가 커질수록 에너지 소모가 증가하는 경향이 명확히 규칙에 반영되었다.