[論文レビュー] A study in Rashomon curves and volumes: A new perspective on generalization and model simplicity in machine learning

Lesia Semenova, Cynthia Rudin|arXiv (Cornell University)|Aug 5, 2019

Machine Learning and Data Classification参考文献 50被引用数 53

ひとこと要約

本稿では、モデルクラスの単純さを、全仮説空間に比して正確なモデルの体積に基づく指標であるRashomon比を導入し、一般化とモデル単純さを分析する。経験的リスクとRashomon比の間には、Γ字型のRashomon曲線が特徴的に現れ、そのへん（エルボー）が、正確で単純かつ望ましいモデル（例えば解釈可能または公平なモデル）の発見を可能にする、頑健なモデル選択基準として機能する。

ABSTRACT

The Rashomon effect occurs when many different explanations exist for the same phenomenon. In machine learning, Leo Breiman used this term to characterize problems where many accurate-but-different models exist to describe the same data. In this work, we study how the Rashomon effect can be useful for understanding the relationship between training and test performance, and the possibility that simple-yet-accurate models exist for many problems. We consider the Rashomon set - the set of almost-equally-accurate models for a given problem - and study its properties and the types of models it could contain. We present the Rashomon ratio as a new measure related to simplicity of model classes, which is the ratio of the volume of the set of accurate models to the volume of the hypothesis space; the Rashomon ratio is different from standard complexity measures from statistical learning theory. For a hierarchy of hypothesis spaces, the Rashomon ratio can help modelers to navigate the trade-off between simplicity and accuracy. In particular, we find empirically that a plot of empirical risk vs. Rashomon ratio forms a characteristic $\Gamma$-shaped Rashomon curve, whose elbow seems to be a reliable model selection criterion. When the Rashomon set is large, models that are accurate - but that also have various other useful properties - can often be obtained. These models might obey various constraints such as interpretability, fairness, or monotonicity.

研究の動機と目的

• 機械学習におけるRashomon効果を用いて、モデルの精度と単純さの関係を理解すること。
• 与えられた問題に対して、ほぼ同程度の精度を持つモデルの集合としてのRashomon集合を形式化すること。
• 従来の統計学習理論の指標とは異なる、新たな複雑さの尺度としてRashomon比を提案すること。
• 大きなRashomon集合が、解釈可能性や公平性などの追加的な望ましい性質を備えた正確なモデルの発見を可能にする仕組みを調査すること。
• 経験的リスクを縦軸、Rashomon比を横軸にとったRashomon曲線を定義し、実用的なモデル選択ツールとしての有効性を確立すること。

提案手法

• 与えられたデータセット上で近似的に最適な経験的リスクを達成するモデルの集合としてRashomon集合を定義する。
• Rashomon集合の体積を全仮説空間の体積で割った比としてRashomon比を導入する。
• 階層的仮説空間を用いて、モデルクラスの複雑さの変化に伴うRashomon比の変化を分析する。
• 異なるモデル族に対して、経験的リスクとRashomon比をプロットした際、Γ字型の曲線が経験的に観察されることを確認する。
• Rashomon曲線のへん（エルボー）を、精度と単純さのバランスを取るモデル選択基準として活用する。
• 大きなRashomon集合が、単調性、公平性、解釈可能性などの制約を満たす正確なモデルの発見を可能にすることを示す。

実験結果

リサーチクエスチョン

• RQ1 Rashomon比は、従来の複雑さの測定法とはどのように異なり、モデルクラスの単純さをどのように定量化するか？
• RQ2 異なるモデルクラスにおいて、経験的リスクとRashomon比の関係の形状はどのようなものか？
• RQ3 Rashomon曲線のへん（エルボー）は、信頼性のあるモデル選択基準として機能するか？
• RQ4 どのような条件下で、大きなRashomon集合が、追加的な望ましい性質（解釈可能性、公平性など）を備えた正確なモデルの発見を可能にするか？
• RQ5 解釈可能性や公平性などの制約は、Rashomon集合の構造とどのように関係するか？

主な発見

• Rashomon比は、従来の統計学習理論の複雑さの測定法とは独立した、モデルクラスの単純さを示す新たな指標を提供する。
• 経験的リスクとRashomon比をプロットした際、Γ字型のRashomon曲線が経験的に出現し、モデル行動における普遍的なパターンを示唆する。
• Rashomon曲線のへん（エルボー）は、精度と単純さのバランスをとる信頼性が高く、頑健なモデル選択基準である。
• Rashomon集合が大きい場合、解釈可能性、公平性、単調性などの制約を満たす正確なモデルの発見が可能になる。
• 大きなRashomon集合の存在は、多様な性質を備えた複数の正確なモデルが共存可能であることを示し、モデル選択の柔軟性を高める。