[論文レビュー] RRMSE Voting Regressor: A weighting function based improvement to ensemble regression

Shikun Chen, Nguyen Manh Luc|arXiv (Cornell University)|Jul 11, 2022

Face and Expression Recognition被引用数 16

ひとこと要約

本稿では、相対二乗平均平方誤差（RRMSE）に基づいてベースラーナーに重みを割り当てることで予測精度を向上させる、新しいアンサンブル回帰手法「RRMSE投票回帰器」を提案する。実験の結果、Bagging回帰（BR）や動的重み付き回帰（DWR）といったベースラインアンサンブル手法を著しく上回り、最先端の不確実性を伴う投票回帰（VRU）手法と同等または優れた結果を達成した。

ABSTRACT

This paper describes the RRMSE (Relative Root Mean Square Error) based weights to weight the occurrences of predictive values before averaging for the ensemble voting regression. The core idea behind ensemble regression is to combine several base regression models in order to improve the prediction performance in learning problems with a numeric continuous target variable. The default weights setting for the ensemble voting regression is uniform weights, and without domain knowledge of learning task, assigning weights for predictions are impossible, which makes it very difficult to improve the predictions. This work attempts to improve the prediction of voting regression by implementing the RRMSE based weighting function. Experiments show that RRMSE voting regressor produces significantly better predictions than other state-of-the-art ensemble regression algorithms on six popular regression learning datasets.

研究の動機と目的

• アンサンブル投票回帰における均一な重み割り当ての限界を解決する。特に、ベースモデルに意味のある重みを割り当てるための事前知識が存在しない状況を想定する。
• 予測誤差を低く抑えるモデルを優先するデータ駆動型の誤差ベース重み関数を導入することで、アンサンブル回帰性能を向上させること。
• RRMSEに基づく重み割り当てが、既存のアンサンブル回帰手法と比較して統計的に有意な改善をもたらすかどうかを評価すること。
• 異種アンサンブル学習におけるモデル選択および重み割り当てに、RRMSEが信頼できる指標である可能性を検討すること。

提案手法

• ベースラーナーのインスタンス固有の重みを計算するために、RRMSE（相対二乗平均平方誤差）を指標として用いる新しいアンサンブル回帰フレームワークを提案する。
• RRMSE値が低いベースモデルに高い重みを割り当てる。逆比例関数を用い、$ w_i = \frac{1}{\text{RRMSE}_i} $ と定義し、全モデルにわたって正規化する。
• 重み付き平均の式を適用する：$ \hat{f}_{\text{RRMSE}}(x) = \sum_{i=1}^{k} w_i(x) \cdot \hat{f}_i(x) $。ここで重みは検証データ上のRRMSE値から導出される。
• 多様なベースラーナー（例：ランダムフォレスト、勾配ブースティング、SVM）を全データセットで訓練した、異種アンサンブル構成を採用する。
• 性能比較には、統計的有意性検定（Friedman順位差検定と後続分析）を用いる。
• 標準指標（MAE、MSE、RMSE、$ R^2 $）を用いて、6つの標準回帰データセットで手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 RRMSEに基づく重み割り当ては、均一または定数重み割り当てと比較して、アンサンブル回帰の性能を向上させることができるか？
• RQ2 RRMSE投票回帰器は、Bagging回帰（BR）、動的重み付き回帰（DWR）、および不確実性を伴う投票回帰（VRU）といった最先端のアンサンブル手法と比較して、どのように性能を発揮するか？
• RQ3 RRMSE投票回帰器の性能向上は、複数のベンチマークデータセット全体で統計的に有意であるか？
• RQ4 RRMSEに基づく重み関数は、従来のアンサンブル統合戦略と比較して、より頑健かつ正確な予測をもたらすか？

主な発見

• RRMSE投票回帰器は、全6つのデータセットで平均順位が最良であり、MAE、MSE、RMSE、$ R^2 $ すべての指標でBRおよびDWRを上回った。
• 統計的検定により、RRMSE投票回帰器がMAE、MSE、RMSE、$ R^2 $ においてBRおよびDWRを著しく上回っていることが確認され、すべての指標でp値 < 0.01であった。
• アバロンデータセットでは、MAE（1.5102）、MSE（4.7140）、RMSE（2.1712）が最小で、$ R^2 $（0.5645）が最大となり、1位を獲得した。
• スマートグリッド安定性データセットでは、MAE（0.0075）とMSE（0.000095）が最小で、$ R^2 $ が0.9287であり、DWR（MAE：0.0174）を著しく上回った。
• VRUと比較してわずかではあるが一貫した改善を示し、平均順位（1.0）がVRUの2.25を上回った。また、どの指標においても有意に劣っていなかった。
• 後続分析により、MAE、MSE、RMSEでは6つの比較すべてでRRMSE投票回帰器が勝利し、$ R^2 $ では6つ中5つで勝利した。これは、強力で一貫した優位性を示している。