[논문 리뷰] Tree Space Prototypes: Another Look at Making Tree Ensembles Interpretable

Sarah Tan, Matvey Soloviev외 2명|arXiv (Cornell University)|2016. 11. 22.

Explainable Artificial Intelligence (XAI)참고 문헌 49인용 수 37

한 줄 요약

이 논문은 기울기 부스팅 트리에서 유도된 새로운 거리 함수를 사용하여 트리 앙상블 모델의 각 클래스에 대한 대표적 인스턴스인 트리 스페이스 프로토타입을 제안한다. k-medoids 근사법을 통해 적응형으로 클래스에 맞는 프로토타입을 선택함으로써, 원래의 앙상블와 비교해 유사하거나 더 높은 정확도를 달성하고 인간의 해석 가능성 연구에서 셰플리 값보다 뛰어난 성능을 보이며, 기능 기반 설명 대신 프로토타입 기반의 해석 가능성 접근법을 제공한다.

ABSTRACT

Ensembles of decision trees perform well on many problems, but are not interpretable. In contrast to existing approaches in interpretability that focus on explaining relationships between features and predictions, we propose an alternative approach to interpret tree ensemble classifiers by surfacing representative points for each class -- prototypes. We introduce a new distance for Gradient Boosted Tree models, and propose new, adaptive prototype selection methods with theoretical guarantees, with the flexibility to choose a different number of prototypes in each class. We demonstrate our methods on random forests and gradient boosted trees, showing that the prototypes can perform as well as or even better than the original tree ensemble when used as a nearest-prototype classifier. In a user study, humans were better at predicting the output of a tree ensemble classifier when using prototypes than when using Shapley values, a popular feature attribution method. Hence, prototypes present a viable alternative to feature-based explanations for tree ensembles.

연구 동기 및 목표

• 트리 앙상블 분류기의 해석 가능성 부족 문제를 해결한다. 이는 수백 또는 수천 개의 트리로 구성되어 있어 투명하지 않은 강력한 모델이기 때문이다.
• 기능 기반 중요도에서 클래스별 대표 예외로 초점을 이동시키는 프로토타입 기반의 해석 가능성 프레임워크를 제안한다.
• 예측 결과와 기능 사용 패턴을 모두 반영하는 기울기 부스팅 트리용 새로운 거리 측정법을 개발한다.
• 클래스 복잡도에 따라 프로토타입 수를 다양하게 설정할 수 있는 적응형 프로토타입 선택 방법을 설계하여 복잡한 클래스의 커버리지 향상을 도모한다.
• 사용자 연구를 통해 프로토타입의 해석 가능성과 기존 방법인 셰플리 값과의 성능을 평가한다.

제안 방법

• 기존 랜덤 포레스트 거리의 일반화로, 기능이 예측에 어떻게 기여하는지 반영하는 기울기 부스팅 트리용 새로운 거리 함수를 도입한다.
• 새로운 거리 기반으로 각 클래스 내에서 중심적인 프로토타입을 효율적으로 선택하기 위해 k-medoids 문제의 근사 알고리즘을 응용한다.
• 이론적 보장을 갖춘 클래스 인식 프로토타입 선택 방법을 제안하여, 클래스 복잡도에 따라 각 클래스별로 다른 수의 프로토타입을 허용한다.
• 트리 스페이스 프로토타입을 사용한 최근접 프로토타입 분류기로, 원래 트리 앙상블보다 높은 정확도를 달성할 수도 있다.
• 사용자 연구를 통해 프로토타입과 셰플리 값 간의 모델 행동 이해도를 비교한다.
• 거리 기반 순위를 활용해 손상된 데이터셋에서 잘못 레이블이 붙은 점을 식별하며, 무작위 및 손실 기반 기준보다 보다 높은 정확도로 보정 효율성을 확보한다.

실험 결과

연구 질문

• RQ1 트리 앙상블의 유사도에서 유도된 프로토타입은 기능 기반 설명보다 모델 행동을 더 직관적으로 설명할 수 있는가?
• RQ2 기울기 부스팅 트리에 대해 예측 출력과 기능 사용 패턴을 모두 반영하는 거리 함수를 어떻게 설계할 수 있는가?
• RQ3 클래스 별로 프로토타입 수를 다양하게 허용하는 것이 해석 가능성과 분류 성능을 향상시키는가?
• RQ4 트리 스페이스 프로토타입은 원래 앙상블과 동등하거나 이를 초월하는 정확도를 갖는 독립형 정확한 분류기로 사용될 수 있는가?
• RQ5 사람들이 트리 앙상블 예측을 이해하는 데 있어 프로토타입은 셰플리 값보다 얼마나 유용한가?

주요 결과

• 사용자 연구 결과, 셰플리 값 대비 프로토타입을 사용했을 때 트리 앙상블 분류기의 출력을 예측하는 데서 인간 사용자의 성능이 유의미하게 향상되었으며, p-값은 약 0.035였다.
• 트리 스페이스 프로토타입에서 유도된 최근접 프로토타입 분류기는 원래 트리 앙상블보다 높은 테스트 정확도를 달성하는 경우가 있었으며, 이는 프로토타입이 모델의 예측 능력을 효과적으로 포괄할 수 있음을 시사한다.
• 손상된 MNIST 4-9 데이터에서 잘못 레이블이 붙은 점을 식별하기 위한 거리 기반 순위가, 무작위 및 손실 기반 순위보다 뛰어난 성능을 보이며 재학습 후 테스트 세트 정확도를 높였다.
• 적응형 프로토타입 선택 방법은 복잡한 클래스의 커버리지를 향상시켰지만, 모든 데이터셋에서 성능 향상이 일관되게 나타나지는 않았다.
• 트리 스페이스 프로토타입은 강력한 해석 가능성 잠재력을 보이며, 트리 앙상블에서 기능 기반 설명 대신 프로토타입 기반 설명이 실현 가능할 수 있음을 시사한다.
• 결과는 프로토타입이 모델을 설명할 뿐 아니라, 일부 경우에서 원래 앙상블을 초월하는 우수한 독립형 분류기로도 기능할 수 있음을 시사한다.