[論文レビュー] Beyond Point Estimate: Inferring Ensemble Prediction Variation from Neuron Activation Strength in Recommender Systems

Zhe Chen, Yuyan Wang+5 more|arXiv (Cornell University)|Aug 17, 2020

Stochastic Gradient Optimization Techniques参考文献 49被引用数 4

ひとこと要約

本論文では、複数回の推論を必要とせず、ニューロン活性化強度を用いて推薦システムにおけるアンサンブル予測のばらつきを推定する新規手法を提案する。高いR²スコア（MovieLensで0.56、Criteoで0.81）と優れたAUC性能（低ばらつきバケットで0.92、高ばらつきバケットで0.89）を達成しており、アンサンブル推論を用いないままに活性化パターンのみで不確実性を効果的に推定できることを示している。

ABSTRACT

Despite deep neural network (DNN)'s impressive prediction performance in various domains, it is well known now that a set of DNN models trained with the same model specification and the same data can produce very different prediction results. Ensemble method is one state-of-the-art benchmark for prediction uncertainty estimation. However, ensembles are expensive to train and serve for web-scale traffic. In this paper, we seek to advance the understanding of prediction variation estimated by the ensemble method. Through empirical experiments on two widely used benchmark datasets MovieLens and Criteo in recommender systems, we observe that prediction variations come from various randomness sources, including training data shuffling, and parameter random initialization. By introducing more randomness into model training, we notice that ensemble's mean predictions tend to be more accurate while the prediction variations tend to be higher. Moreover, we propose to infer prediction variation from neuron activation strength and demonstrate the strong prediction power from activation strength features. Our experiment results show that the average R squared on MovieLens is as high as 0.56 and on Criteo is 0.81. Our method performs especially well when detecting the lowest and highest variation buckets, with 0.92 AUC and 0.89 AUC respectively. Our approach provides a simple way for prediction variation estimation, which opens up new opportunities for future work in many interesting areas (e.g.,model-based reinforcement learning) without relying on serving expensive ensemble models.

研究の動機と目的

• 推薦システムで使用されるアンサンブル深層ニューラルネットワークにおける予測ばらつきの原因および性質を理解すること。
• ニューロン活性化強度が、計算コストの高いアンサンブルに依存することなく、予測ばらつきの代理指標として機能できるかどうかを調査すること。
• 単一のフォワードパスからの活性化特徴のみを用いて、予測不確実性を推定する軽量な手法を開発・検証すること。
• 完全なアンサンブルを活性化に基づく推論に置き換えることで、リアルタイムでスケーラブルな不確実性推定を実現すること。

提案手法

• 著者らは、データシャッフルや重み初期化などの制御されたランダムネスを用いて複数のDNNモデルを学習し、アンサンブル予測を生成し、各入力例ごとの予測ばらつきを定量化する。
• 予測ばらつきは、各入力例についてアンサンブルメンバー間の予測の分散として定義される。
• ニューロン活性化強度は、DNNの単一のフォワードパスから、ニューロンの活性化値およびオン/オフのバイナリ状態を用いて抽出される。
• 活性化強度特徴量を入力として用い、アンサンブル予測ばらつきを予測する教師あり回帰モデルを学習する。
• 本手法は、MovieLens（回帰）およびCriteo（バイナリ分類）データセット上で評価され、R²およびAUCを用いて性能が測定される。
• 基準となる予測ばらつきを算出するために1,000モデルの真値アンサンブルを用い、小さなアンサンブルの性能はdelta ratioを用いて評価し、最適なアンサンブルサイズを特定する。

実験結果

リサーチクエスチョン

• RQ1 同一仕様および同一データで学習されたDNNアンサンブルにおける予測ばらつきの主な要因は何か？
• RQ2 トレーニングにおけるランダムネスの増加（例：データシャッフル、重み初期化）は、アンサンブル予測の精度およびばらつきにどのように影響するか？
• RQ3 単一のフォワードパスからのニューロン活性化強度は、完全なアンサンブルで観測されるばらつきを信頼性高く予測できるか？
• RQ4 活性化に基づく手法は、極端なばらつきケース（例：最も低い・最も高いばらつきバケット）をどれほどうまく検出できるか？

主な発見

• DNNアンサンブルにおける予測ばらつきは、データシャッフルやパrameter初期化などの複数のランダムネス要因に起因し、ランダムネスが増えるほど大きくなる。
• より高いランダムネスで学習されたアンサンブルは、平均予測の精度が向上するが、予測ばらつきも高くなるため、精度と不確実性のトレードオフが生じる。
• ニューロン活性化強度特徴量は、MovieLensでR² 0.56、CriteoでR² 0.81を達成し、アンサンブル予測ばらつきの予測に強力な能力を示している。
• 本手法は極端なばらつきバケットの検出において特に優れた性能を示しており、低ばらつきバケットではAUC 0.92、高ばらつきバケットではAUC 0.89を達成した。
• delta ratio分析により、アンサンブルサイズが100で、真値アンサンブル（1,000モデル）の約93％の予測ばらつきを捉えられると判明した。