[논문 리뷰] A study in Rashomon curves and volumes: A new perspective on generalization and model simplicity in machine learning

Lesia Semenova, Cynthia Rudin|arXiv (Cornell University)|2019. 08. 05.

Machine Learning and Data Classification참고 문헌 50인용 수 53

한 줄 요약

이 논문은 일반화와 모델 단순성 분석을 위해 전체 가설 공간 대비 정확한 모델의 부피에 기반한 모델 클래스 단순성 측도인 라슈몬 비율을 도입한다. 경험적 리스크와 라슈몬 비율 간의 Γ형 라슈몬 곡선을 규명하며, 고환부는 정확하고 단순하며 바람직한 모델(예: 해석 가능하거나 공정한 모델)을 발견하는 데 유용한 강력한 모델 선택 기준이 된다.

ABSTRACT

The Rashomon effect occurs when many different explanations exist for the same phenomenon. In machine learning, Leo Breiman used this term to characterize problems where many accurate-but-different models exist to describe the same data. In this work, we study how the Rashomon effect can be useful for understanding the relationship between training and test performance, and the possibility that simple-yet-accurate models exist for many problems. We consider the Rashomon set - the set of almost-equally-accurate models for a given problem - and study its properties and the types of models it could contain. We present the Rashomon ratio as a new measure related to simplicity of model classes, which is the ratio of the volume of the set of accurate models to the volume of the hypothesis space; the Rashomon ratio is different from standard complexity measures from statistical learning theory. For a hierarchy of hypothesis spaces, the Rashomon ratio can help modelers to navigate the trade-off between simplicity and accuracy. In particular, we find empirically that a plot of empirical risk vs. Rashomon ratio forms a characteristic $\Gamma$-shaped Rashomon curve, whose elbow seems to be a reliable model selection criterion. When the Rashomon set is large, models that are accurate - but that also have various other useful properties - can often be obtained. These models might obey various constraints such as interpretability, fairness, or monotonicity.

연구 동기 및 목표

• 기계 학습에서 라슈몬 효과를 활용해 모델 정확도와 단순성 간의 관계를 이해하기 위해.
• 주어진 문제에 대해 거의 동일한 정확도를 갖는 모델의 집합으로서 라슈몬 집합을 공식화하기 위해.
• 伝통적인 통계학적 학습 이론의 지표와는 다를 새로운 복잡도 측도로 라슈몬 비율을 제안하기 위해.
• 큰 라슈몬 집합이 해석 가능성이나 공정성과 같은 추가적인 바람직한 성질을 갖는 정확한 모델을 발견하는 데 어떻게 기여하는지 탐색하기 위해.
• 경험적 리스크를 라슈몬 비율에 대해 그린 라슈몬 곡선—실용적인 모델 선택 도구로 활용하기 위해.

제안 방법

• 주어진 데이터셋에서 근사 최적의 경험적 리스크를 달성하는 모델의 집합으로서 라슈몬 집합을 정의한다.
• 라슈몬 집합의 부피를 전체 가설 공간의 부피로 나눈 비율로서 라슈몬 비율을 도입한다.
• 계층적 가설 공간을 사용하여 라슈몬 비율이 모델 클래스 복잡도에 따라 어떻게 변화하는지 분석한다.
• 다양한 모델 유형에 걸쳐 경험적 리스크 대 라슈몬 비율을 그린 결과, Γ형 곡선이 관측됨을 실증적으로 확인한다.
• 라슈몬 곡선의 고환부를 정확도와 단순성의 균형을 이루는 모델 선택 기준으로 활용한다.
• 큰 라슈몬 집합이 단조성, 공정성 또는 해석 가능성과 같은 제약 조건을 만족하는 정확한 모델을 발견하는 데 기여함을 입증한다.

실험 결과

연구 질문

• RQ1 라슈몬 비율은 기존의 복잡도 측도와 어떻게 다를 수 있는가? 즉, 모델 클래스의 단순성을 어떻게 측정하는가?
• RQ2 다양한 모델 클래스 간에 경험적 리스크와 라슈몬 비율 간의 관계는 어떤 형태인가?
• RQ3 라슈몬 곡선의 고환부는 신뢰할 수 있는 모델 선택 기준이 될 수 있는가?
• RQ4 큰 라슈몬 집합이 해석 가능성, 공정성 등 추가적인 바람직한 성질을 갖는 정확한 모델을 발견하는 데 어떤 조건에서 기여하는가?
• RQ5 해석 가능성이나 공정성과 같은 제약 조건은 라슈몬 집합의 구조와 어떻게 관련이 있는가?

주요 결과

• 라슈몬 비율은 기존의 통계학적 학습 이론 복잡도 측도와 독립적인 모델 클래스 단순성 측도를 제공한다.
• 경험적 리스크 대 라슈몬 비율을 그린 결과, Γ형 라슈몬 곡선이 실증적으로 나타나며, 이는 모델 행동에 대한 보편적인 패턴을 시사한다.
• 라슈몬 곡선의 고환부는 정확도와 단순성의 균형을 이루는 신뢰할 수 있고 강력한 모델 선택 기준이 된다.
• 라슈몬 집합이 클 경우, 해석 가능성, 공정성 또는 단조성과 같은 제약 조건을 만족하는 정확한 모델을 찾는 것이 가능해진다.
• 큰 라슈몬 집합의 존재는 다양한 성질을 갖는 여러 정확한 모델이 공존할 수 있음을 시사하며, 이는 모델 선택의 유연성을 높인다.