[論文レビュー] EPP: interpretable score of model predictive power

Alicja Gosiewska, Mateusz Bakala+3 more|arXiv (Cornell University)|Aug 24, 2019

Machine Learning and Data Classification参考文献 8被引用数 4

ひとこと要約

本稿では、機械学習モデルの性能を評価するための新規で解釈可能なスコアリングシステムであるEPP（Eloベースの予測的パワー）を紹介する。EPPは、性能差の確率的解釈、直接的なデータセット間比較、交差検証における安定性の評価を可能にすることで、AUC や RMSE といった従来の指標の代替として強固な手法を提供する。

ABSTRACT

The most important part of model selection and hyperparameter tuning is the evaluation of model performance. The most popular measures, such as AUC, F1, ACC for binary classification, or RMSE, MAD for regression, or cross-entropy for multilabel classification share two common weaknesses. First is, that they are not on an interval scale. It means that the difference in performance for the two models has no direct interpretation. It makes no sense to compare such differences between datasets. Second is, that for k-fold cross-validation, the model performance is in most cases calculated as an average performance from particular folds, which neglects the information how stable is the performance for different folds. In this talk, we introduce a new EPP rating system for predictive models. We also demonstrate numerous advantages for this system, First, differences in EPP scores have probabilistic interpretation. Based on it we can assess the probability that one model will achieve better performance than another. Second, EPP scores can be directly compared between datasets. Third, they can be used for navigated hyperparameter tuning and model selection. Forth, we can create embeddings for datasets based on EPP scores.

研究の動機と目的

• 機械学習モデルの評価において、解釈可能で区間尺度の性能指標が不足している問題に対処すること。
• AUC や F1、RMSE といった一般的な指標が確率的解釈を欠き、異なるデータセット間で意味的に比較できないという限界を克服すること。
• k-フォールド交差検証の各fold間におけるモデル性能の安定性を評価する手法を提供すること。
• さらなる探索による性能向上の確率を定量化することで、ハイパーパramータチューニングのナビゲートを可能にすること。
• EPPスコアに基づくデータセット埋め込みの作成を支援し、下流のモデル選択や分析に役立てること。

提案手法

• originally がゲームのプレイヤーをランク付けするために使われたEloレーティングシステムを、機械学習モデルの予測的パフォーマンススコアフレームワークに適応すること。
• 複数のトレイン/テストスプリットにおけるモデルパフォーマンスの対比較に基づいてEPPスコアを定義し、各比較を「対戦」とみなしてパフォーマンスが優れているモデルが勝利するとする。
• パフォーマンス差に基づいて期待結果を導出する修正版Elo更新ルールを用いてEPPスコアを計算すること。
• EPPシステムを複数のデータセットおよびハイパーパramータ設定におけるモデル比較に適用し、一貫性があり解釈可能なスケールを生成すること。
• 次元削減（例：PCA）を用いてEPPスコアを活用し、データセットの埋め込みを作成することで、データセット間の構造的関係やモデル行動の類似性を明らかにすること。
• EPPスコアをハイパーパramータチューニングワークフローに統合し、さらなる性能向上の確率を推定することで、知的かつ効率的な探索終了やナビゲーションを可能にすること。

実験結果

リサーチクエスチョン

• RQ1 異なるモデルやデータセット間でのパフォーマンス差に確率的解釈を提供できる性能指標を開発することは可能か？
• RQ2 EPPスコアは、異なるスケールやラベル分布を有するデータセット間でも、意味的に有意義なパフォーマンス比較を可能にする程度はどの程度か？
• RQ3 EPPスコアは、k-フォールド交差検証の各fold間におけるモデルパフォーマンスの安定性をどのように評価できるか？
• RQ4 EPPスコアは、さらなる改善の可能性を推定することで、ハイパーパramータチューニングのナビゲートを支援できるか？
• RQ5 EPPに基づく埋め込みは、モデル行動の類似性やデータセットの難易度の類似性といった、意味的な構造を明らかにできるか？

主な発見

• EPPスコアはパフォーマンス差の確率的解釈を提供する：2つのEPPスコアの差から、一方のモデルが他方を上回る確率を推定できる。
• EPPスコアは直接的に異なるデータセット間で比較可能であり、AUC や RMSE といった従来の指標の不適合性という問題を解決する。
• EPPスコアは交差検証におけるパフォーマンスの不安定性を明らかにする：fold間でのパフォーマンスが著しく変動するモデルは、低いEPPスコアを示し、ランク付けの信頼性が低いことを示す。
• EPPはナビゲートされたハイパーパラメータチューニングを可能にする：ハイパーパラメータ設定におけるEPPのトレンドを分析することで、有望な領域を特定し、さらなる改善の確率を推定できる。
• EPPに基づくPCAバイプロットは、データセット間の構造的関係を明らかにする——例えば、データセット334では他のデータセットとは逆転したモデルランクパターンを示しており、独自の特徴を示している。
• ランダムフォレストとGBMモデルは、複数のデータセットで一貫して正のEPPスコアを達成しており、平均モデルを上回る性能を示している一方、k-NNのパフォーマンスはデータセットによって著しく変動していた。