[論文レビュー] Exploring the Whole Rashomon Set of Sparse Decision Trees

Rui Xin, Chudi Zhong+4 more|PubMed|Sep 16, 2022

Machine Learning and Algorithms参考文献 6被引用数 21

ひとこと要約

本論文は TreeFARMS を提示する。疎な決定木の Rashomon 集合を完全に列挙する初の手法であり、非線形木クラスのすべての近似最適モデルの照会、サンプリング、分析を可能にする。変数重要性、代替指標、データサブセット Rashomon 集合の適用も示す。

ABSTRACT

In any given machine learning problem, there might be many models that explain the data almost equally well. However, most learning algorithms return only one of these models, leaving practitioners with no practical way to explore alternative models that might have desirable properties beyond what could be expressed by a loss function. The <i>Rashomon set</i> is the set of these all almost-optimal models. Rashomon sets can be large in size and complicated in structure, particularly for highly nonlinear function classes that allow complex interaction terms, such as decision trees. We provide the first technique for completely enumerating the Rashomon set for sparse decision trees; in fact, our work provides the first complete enumeration of any Rashomon set for a non-trivial problem with a highly nonlinear discrete function class. This allows the user an unprecedented level of control over model choice among all models that are approximately equally good. We represent the Rashomon set in a specialized data structure that supports efficient querying and sampling. We show three applications of the Rashomon set: 1) it can be used to study variable importance for the set of almost-optimal trees (as opposed to a single tree), 2) the Rashomon set for accuracy enables enumeration of the Rashomon sets for balanced accuracy and F1-score, and 3) the Rashomon set for a full dataset can be used to produce Rashomon sets constructed with only subsets of the data set. Thus, we are able to examine Rashomon sets across problems with a new lens, enabling users to choose models rather than be at the mercy of an algorithm that produces only a single model.

研究の動機と目的

• 疎な決定木に対するすべてのほぼ最適モデル（Rashomon 集合）の研究を動機づける。
• Rashomon 集合を効率的に列挙するための解析的界とデータ構造主導の手法を開発する。
• Rashomon 集合を格納・抽出・サンプリングするスケーラブルな実装（TreeFARMS）を提供する。
• 実用的な用途を示す：変数重要性（MCR）、代替指標の Rashomon 集合、データサブセットに対する頑健性。

提案手法

• 基準目的閾値に基づいて epsilon-Rashomon 集合を定義する。
• 探索空間を絞り込むための界（Basic Rashomon Lower Bound および Rashomon Equivalent Points Bound）を導出する。
• 重複を減らすために階層的な Model Set (MS) および Model Set Instances (MSI) で Rashomon 集合を表現する。
• 境界付き動的計画法を用いて近似最適木をすべて抽出するために GOSDT と統合する。
• GOSDT の依存グラフから MS を構築する抽出アルゴリズムを提供する（Algorithm 1 & 2）。
• 全保存が不可能な場合に Rashomon 集合を近似するサンプリング機構を提供する（Section 4.3）。

実験結果

リサーチクエスチョン

• RQ1 実データセット上の疎な決定木に対する Rashomon 集合のサイズと構造はどのようになるか？
• RQ2 すべての高性能モデルにおいて変数重要性はどのように変化し、それをどのように測定するか（MCR）？
• RQ3 正確さ以外の指標（例えばバランス精度やF1スコア）に対して Rashomon 集合を構築できるか？
• RQ4 データのサブセットを削除または撹乱した場合、Rashomon 集合はどのように変化するか？

主な発見

• TreeFARMS はベースラインを大幅に上回り、複数のデータセットでこれまでにない数量の異なる Rashomon 集合木を列挙する。
• 本手法は Model Class Reliance (MCR) の範囲を正確に計算可能にし、すべての高性能木における変数重要性を明らかにする。
• バランス精度とF1スコアの Rashomon 集合は、提供された定理を用いて accuracy Rashomon 集合から導出でき、複数指標の解析を可能にする。
• データ削除下の Rashomon 集合は最適木の高い相関を示し、小さなサンプルの変動に対する頑健性を示す。
• 完全列挙が不可能な場合にはサンプリング手法で MCR を近似でき、25% のサンプルで収束することが多い。
• TreeFARMS は対象とする疎木クラスの Rashomon 集合の完全列挙を保証する。