[論文レビュー] Perturbation Validation: A New Heuristic to Validate Machine Learning Models

Jie M. Zhang, Mark Harman+3 more|arXiv (Cornell University)|May 24, 2019

Adversarial Robustness in Machine Learning参考文献 27被引用数 4

ひとこと要約

本稿では、テストデータに依存せずに、訓練ラベルを摂動させた後の訓練精度の低下を測定することによって機械学習モデルのフィット具合を評価する、新しいヒューリスティック「摂動検証（PV）」を提案する。PVは、従来の手法に比べてモデルのフィット具合の検出において優れているとともに、高容量モデルの一般化に関するパラドックスを説明する。

ABSTRACT

This paper introduces Perturbation Validation (PV), a new heuristic to validate machine learning models. PV does not rely on test data. Instead, it perturbs training data labels, re-trains the model against the perturbed data, then uses the consequent training accuracy decrease rate to assess model fit. PV also differs from traditional statistical approaches, which make judgements without considering label distribution. We evaluate PV on 10 real-world datasets and 6 synthetic datasets. Our results demonstrate that PV is more discriminating about model fit than existing validation approaches and it accords well with widely-held intuitions concerning the properties of a good model fit measurement. We also show that PV complements existing validation approaches, allowing us to give explanations for some of the issues present in the recently-debated apparent paradox that high capacity (potentially overfitted) models may, nevertheless, exhibit good generalisation ability.

研究の動機と目的

• テストデータに依存しないモデルのフィット具合を評価する検証手法を開発すること。
• ラベル分布を無視する従来の統計的検証手法の限界を是正すること。
• モデルのフィット具合の直感的期待とより整合性のとれたヒューリスティックを構築すること。
• 高容量モデルが潜在的な過学習にもかかわらず一般化するという表面的パラドックスを説明すること。

提案手法

• 訓練データのラベルを摂動させ、誤標記のシミュレーションを行う。
• 摂動させた訓練データ上でモデルを再訓練する。
• 訓練精度の低下割合をモデルのフィット具合の指標として測定する。
• 訓練精度がラベル摂動に対してどれほど感度反応するかを、モデルのロバストネスおよびフィット具合の指標として用いる。
• 異なるモデルやデータセット間での精度低下率を比較する。
• PVを既存の検証手法と統合し、モデルの問題の検出性と解釈可能性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 PVは、従来の検証手法と比較して、モデルのフィット具合をどの程度うまく検出できるか？
• RQ2 従来の手法とは異なり、PVの性能はラベル分布に依存するか？
• RQ3 PVは、高容量モデルの一般化パラドックスを説明できるか？
• RQ4 PVは、確立された検証手法とどのように補完し合うか？

主な発見

• PVは、10の実世界データセットおよび6の合成データセットにおいて、モデルのフィット具合の評価において優れた識別力を示した。
• この手法は、良いモデルのフィット具合の測定基準として広く共有されている直感と強い整合性を示した。
• PVは、潜在的な過学習にもかかわらず高容量モデルが一般化することという表面的パラドックスをうまく説明できた。
• ラベル摂動下での精度低下率が、モデルのロバストネスおよびフィット具合の質を信頼できる指標として機能した。
• PVは、既存の検証アプローチと相補的であることが判明し、それらの解釈可能性を高めた。