[論文レビュー] Rashomon Capacity: A Metric for Predictive Multiplicity in Classification

Hsiang Hsu, Flávio P. Calmon|arXiv (Cornell University)|Jun 2, 2022

Adversarial Robustness in Machine Learning被引用数 5

ひとこと要約

本稿では、性能が統計的に区別できないモデルの集合（Rashomon集合）内のスコアの変動を測定することで、確率的分類における予測の多様性を定量化する新しい指標「Rashomon Capacity」を提案する。従来の閾値付き予測に限定された指標とは異なり、Rashomon Capacityは曖昧な確率の不一致を捉えられ、著者らはそれが高々 $c$ モデル（$c$ はクラス数）で完全に特徴付けられることを示しており、効率的な推定とステークホルダーへの開示が可能である。グリーディ選択アルゴリズムを用いることで、ランダムフォレストなどのアンサンブルモデルにおいて予測の多様性が低減されていることが実証結果で示された。

ABSTRACT

Predictive multiplicity occurs when classification models with statistically indistinguishable performances assign conflicting predictions to individual samples. When used for decision-making in applications of consequence (e.g., lending, education, criminal justice), models developed without regard for predictive multiplicity may result in unjustified and arbitrary decisions for specific individuals. We introduce a new metric, called Rashomon Capacity, to measure predictive multiplicity in probabilistic classification. Prior metrics for predictive multiplicity focus on classifiers that output thresholded (i.e., 0-1) predicted classes. In contrast, Rashomon Capacity applies to probabilistic classifiers, capturing more nuanced score variations for individual samples. We provide a rigorous derivation for Rashomon Capacity, argue its intuitive appeal, and demonstrate how to estimate it in practice. We show that Rashomon Capacity yields principled strategies for disclosing conflicting models to stakeholders. Our numerical experiments illustrate how Rashomon Capacity captures predictive multiplicity in various datasets and learning models, including neural networks. The tools introduced in this paper can help data scientists measure and report predictive multiplicity prior to model deployment.

研究の動機と目的

• 予測の多様性（同じ性能を持つモデルが個々のサンプルに対して矛盾する予測を下す現象）が高リスクなAI応用において恣意的かつ正当化されない意思決定を引き起こすリスクに対処すること。
• 閾値付き（0-1）出力に限定されない、確率的分類器に適用可能な形式的かつ解釈可能な予測の多様性の指標を構築すること。
• モデル導入前にステークホルダーに予測の多様性を推定・開示するための実用的フレームワークを提供すること。
• Rashomon Capacityが高々 $c$（クラス数）のモデルで完全に捉えられることを示し、計算の効率化とモデルサブセット選択を可能にすること。

提案手法

• Rashomon集合に属するモデル群における特定の入力サンプルに対する予測確率の範囲を定量化する指標としてRashomon Capacityを提案する。
• 任意のサンプルについてスコアの変動が高々 $c$ モデルで完全に捉えられることを示す理論的境界を導出する（$c$ はクラス数）。
• Rashomon集合から、データセット全体におけるスコア変動の大部分を保持する最小のモデルサブセットを同定するためのグリーディアルゴリズムを導入する。
• 複数回再訓練されたモデル（例：異なる初期化を用いたもの）からの経験的分布を用いてRashomon Capacityを推定し、多様なデータセットとアーキテクチャに適用する。
• ニューラルネットワーク、決定木、ランダムフォレスト、正則化を施したロジスティック回帰モデルなど、多様なモデルに対して指標の頑健性と有用性を評価する。
• 予測の矛盾を解消するためのモデル開示戦略（例：ランダム化やバギング）を支援するために指標を活用する。

実験結果

リサーチクエスチョン

• RQ1 性能が類似するモデル間で予測が異なる場合、確率的分類モデルにおける予測の多様性を形式的にどのように測定できるか？
• RQ2 高リスク意思決定におけるステークホルダーにとって解釈可能で有用であるためには、予測の多様性指標が満たすべき性質は何か？
• RQ3 Rashomon Capacityは効率的に推定・計算可能か？また、深層ニューラルネットワークのような複雑なモデルに対してもスケーラブルか？
• RQ4 ランダムフォレストのようなアンサンブル手法は、Rashomon Capacityで測定した場合、予測の多様性をどの程度低減するか？
• RQ5 Rashomon集合から、ある入力の予測変動の全範囲を捉えることのできる少数のモデルサブセットを構成できるか？これにより実用的な開示戦略が可能になるか？

主な発見

• 任意の入力サンプルについて、Rashomon Capacityは高々 $c$ モデルで限定され、$c$ はクラス数である。これにより、Rashomon集合のサイズに依存せず、効率的な推定が可能である。
• ランダムフォレスト分類器は、決定木よりも一貫して顕著に低いRashomon Capacityを示しており、アンサンブル化が予測の多様性を低減することを示している。
• UCI AdultおよびHSLSデータセットにおいて、ロジスティック回帰の $\ell_1$ および $\ell_2$ 正則化はRashomon Capacityを低減させることが示され、正則化が緩和戦略として有効である可能性を示唆している。
• CIFAR-10、AG News、UrbanSound8kを含むすべてのテストデータセットにおいて、Rashomon Capacityは多様なモデルとアーキテクチャ間でスコアの変動を効果的に捉えている。
• 代表モデルの選択に用いるグリーディアルゴリズムは、データセット全体でスコア変動の大部分を捉えており、ステークホルダーへの予測の矛盾の実用的開示を可能にしている。
• モデルのキャリブレーションは予測の多様性を排除しない：良好にキャリブレートされたモデルでも、同じ入力に対して著しく異なる確率を割り当てることがある。これにより、Rashomon Capacityのような指標の必要性が浮き彫りになった。