[논문 리뷰] Exploring the Whole Rashomon Set of Sparse Decision Trees

Rui Xin, Chudi Zhong외 4명|PubMed|2022. 09. 16.

Machine Learning and Algorithms참고 문헌 6인용 수 21

한 줄 요약

본 논문은 TreeFARMS를 제시한다. 희소 의사결정 트리의 Rashomon set를 완전히 열거하는 최초의 방법으로, 비선형 트리 클래스에 대한 모든 근사-최적 모델에 대해 질의, 샘플링 및 분석을 가능하게 한다. 또한 변수 중요도, 대체 지표, 그리고 데이터-부분 Rashomon set에 대한 응용을 입증한다.

ABSTRACT

In any given machine learning problem, there might be many models that explain the data almost equally well. However, most learning algorithms return only one of these models, leaving practitioners with no practical way to explore alternative models that might have desirable properties beyond what could be expressed by a loss function. The <i>Rashomon set</i> is the set of these all almost-optimal models. Rashomon sets can be large in size and complicated in structure, particularly for highly nonlinear function classes that allow complex interaction terms, such as decision trees. We provide the first technique for completely enumerating the Rashomon set for sparse decision trees; in fact, our work provides the first complete enumeration of any Rashomon set for a non-trivial problem with a highly nonlinear discrete function class. This allows the user an unprecedented level of control over model choice among all models that are approximately equally good. We represent the Rashomon set in a specialized data structure that supports efficient querying and sampling. We show three applications of the Rashomon set: 1) it can be used to study variable importance for the set of almost-optimal trees (as opposed to a single tree), 2) the Rashomon set for accuracy enables enumeration of the Rashomon sets for balanced accuracy and F1-score, and 3) the Rashomon set for a full dataset can be used to produce Rashomon sets constructed with only subsets of the data set. Thus, we are able to examine Rashomon sets across problems with a new lens, enabling users to choose models rather than be at the mercy of an algorithm that produces only a single model.

연구 동기 및 목표

• 희소 의사결정 트리에 대한 거의 최적 모델(Rashomon set)에 대한 연구 동기를 제공한다.
• 효율적으로 Rashomon set을 열거하기 위한 분석적 경계와 데이터 구조 주도 방법을 개발한다.
• Rashomon set를 저장, 추출 및 샘플링하는 확장 가능한 구현(TreeFARMS)을 제공한다.
• 실용적 용도: 변수 중요도(MCR), 대체 지표에 대한 Rashomon set, 데이터 부분에 대한 강건성 등을 보여준다.

제안 방법

• 참조 목적 함수 임계값을 기반으로 epsilon-Rashomon set를 정의한다.
• 탐색 공간을 가지치기하기 위한 경계(Basic Rashomon Lower Bound 및 Rashomon Equivalent Points Bound)를 도출한다.
• 중복을 줄이기 위해 Rashomon set를 계층적 Model Set(MS) 및 Model Set Instances(MSI)로 표현한다.
• GOSDT와 통합하여 경계가 있는 동적 프로그래밍을 수행하고 모든 근사-최적 트리를 추출한다.
• GOSDT 의존 그래프에서 MS를 구성하는 추출 알고리즘(Algorithm 1 & 2)을 제공한다.
• 전체 저장이 불가능한 경우 Rashomon set를 근사화하기 위한 샘플링 메커니즘을 제공한다(섹션 4.3).

실험 결과

연구 질문

• RQ1 희소 의사결정 트리에 대한 Rashomon set의 크기와 구조는 실제 데이터셋에서 어떠한가?
• RQ2 변수 중요도는 모든 잘 작동하는 모델에서 어떻게 다양하게 나타나며 이를 어떻게 측정할 수 있는가(MCR)?
• RQ3 정확도 외에 균형 정확도 및 F1-점수와 같은 메트릭에 대해 Rashomon set를 구성할 수 있는가?
• RQ4 데이터의 서브셋을 제거하거나 섞을 때 Rashomon set는 어떻게 변화하는가?

주요 결과

• TreeFARMS는 기준선보다 현저히 뛰어나며, 여러 데이터셋에서 서로 다른 Rashomon-set 트리를 수십 배 이상 열거한다.
• 모형 분류 의존성(MCR) 범위를 정확하게 계산할 수 있게 하여 모든 잘 작동하는 트리에서 변수 중요도를 드러낸다.
• 정확성 Rashomon set에서 제공된 정리에 따라 균형 정확도 및 F1-점수에 대한 Rashomon set를 도출할 수 있어 다중 지표 분석이 가능하다.
• 데이터 제거 하에서 Rashomon set는 최적 트리의 높은 상관관계를 보이며 표본 변화에 대한 강건성을 시사한다.
• 전체 열거가 불가능한 경우 샘플링 접근법으로 MCR를 근사할 수 있으며 25% 샘플로도 수렴에 충분한 경우가 많다.
• TreeFARMS는 고려된 희소 트리 클래스에 대해 Rashomon set의 완전 열거를 보장한다.