[論文レビュー] Using the Mean Absolute Percentage Error for Regression Models

Arnaud De Myttenaere, Boris Golden+2 more|arXiv (Cornell University)|Jun 12, 2015

Control Systems and Identification参考文献 3被引用数 35

ひとこと要約

この論文は、回帰における平均絶対パーセント誤差（MAPE）を最小化することは、目的変数の逆数に比例する重み付き平均絶対誤差（MAE）回帰に等価であることを確立している。MAPEにおける経験的リスク最小化が弱い条件下でも普遍的一致性を示すことを証明しており、目的変数がゼロから離れている場合に信頼できるモデル学習が可能になる。

ABSTRACT

We study in this paper the consequences of using the Mean Absolute Percentage Error (MAPE) as a measure of quality for regression models. We show that finding the best model under the MAPE is equivalent to doing weighted Mean Absolute Error (MAE) regression. We show that universal consistency of Empirical Risk Minimization remains possible using the MAPE instead of the MAE.

研究の動機と目的

• MSE や MAE と比較して、MAPE を回帰損失関数として用いる理論的・実用的意味を調査すること。
• MAPE を最小化することは、インスタンス固有の重みを用いた重み付き MAE 回帰問題を解くことに等価であることを示すこと。
• 経験的リスク最小化（ERM）が MAPE 損失関数のもとで普遍的一貫性を示すことを確立すること。
• 目的変数の境界（特に |Y| の下限）が MAPE に基づく学習の一貫性に与える影響を分析すること。
• 標準的な学習枠組みのもとで、MSE や MAE に対して得られている理論的保証が、適切な正則性条件下で MAPE の設定へも拡張可能かどうかを検討すること。

提案手法

• 除算でゼロが生じる場合の処理を含め、$ l_{MAPE}(p,y) = \frac{|p - y|}{|y|} $ として MAPE 損失を形式化する。
• 経験的 MAPE を最小化することは、各サンプルが $ \frac{1}{|Y_i|} $ に重み付けされた重み付き MAE 回帰問題を解くことに等価であることを示す。
• 被覆数や VC次元を用いた標準的な統計的学習理論の技術を適用し、経験的リスクと真のリスクの乖離を評価する。
• 対称化と集中不等式を用いた指数的尾部バウンドを用いて、MAPE における ERM の一貫性条件を導出する。
• MAPE における仮説クラスの VC 次元が、MAE におけるそれ以上に有界であることを確立し、理論的取り扱いやすさを保つ。
• VC 次元が増加し、非有界であるが、$ \lim_{n\to\infty} \frac{v_n B_{G_n}^2 \log B_{G_n}}{n} = 0 $ かつ $ |Y| \geq \lambda > 0 $ がほとんど surely に成り立つ限り、モデルクラスが拡大する系列において、MAPE のリスクがほとんど確実に最適リスクに収束することを証明する。

実験結果

リサーチクエスチョン

• RQ1 MAPE を最小化することは、既知の回帰定式化と等価であるか。その場合、対応する重み付き損失関数は何か？
• RQ2 MAPE 損失関数のもとで、経験的リスク最小化（ERM）は統計的学習の意味で普遍的一貫性を達成できるか？
• RQ3 目的変数の境界（特に |Y| の下限）は、MAPE に基づく学習の一貫性にどのように影響するか？
• RQ4 MAPE における仮説クラスの VC 次元と MAE におけるそれとの関係は何か？
• RQ5 適切な正則性条件下で、MSE や MAE に対して得られている理論的一致性結果が、MAPE の設定へ拡張可能か？

主な発見

• MAPE を最小化することは、数学的に、各トレーニング例が絶対目的変数の逆数に重み付けされた重み付き MAE 回帰問題を解くことに等価である。
• 理論的分析により、目的変数がゼロから離れている（すなわち、$ |Y| \geq \lambda > 0 $ ほとんど surely）限り、MAPE 損失のもとでの ERM の普遍的一貫性が達成可能であることが示された。
• MAPE における仮説クラスの VC 次元は、MAE におけるそれ以上に有界であり、理論的取り扱いやすさと一貫性保証を維持している。
• VC 次元が増加し、非有界であるが、$ \lim_{n\to\infty} \frac{v_n B_{G_n}^2 \log B_{G_n}}{n} = 0 $ が成り立つ限り、拡大するモデルクラスにおいて一貫性が確立された。
• 指数的集中バウンドと乖離確率のsummabilityを用いて、MAPE の経験的リスクがほとんど確実に最適リスクに収束することが示された。
• 自動車データセットにおける実用的例は、MAPE 最適化モデルがトレーニングデータで最小の MAPE を達成することを確認しており、理論的等価性が実務でも裏付けられた。