[논문 리뷰] Beyond Point Estimate: Inferring Ensemble Prediction Variation from Neuron Activation Strength in Recommender Systems

Zhe Chen, Yuyan Wang외 5명|arXiv (Cornell University)|2020. 08. 17.

Stochastic Gradient Optimization Techniques참고 문헌 49인용 수 4

한 줄 요약

이 논문은 추천 시스템에서 앙상블 예측 변동성을 뉴런 활성화 강도를 사용하여 추론함으로써, 비용이 많이 드는 다중 추론 실행을 피할 수 있는 새로운 방법을 제안한다. 이는 MovieLens에서 0.56, Criteo에서 0.81의 높은 R² 점수와 강력한 AUC 성능(낮은 변동성 버킷에서 0.92, 높은 변동성 버킷에서 0.89)을 달성하여, 활성화 패턴만으로도 앙상블 추론 없이도 효과적으로 불확실성을 추정할 수 있음을 보여준다.

ABSTRACT

Despite deep neural network (DNN)'s impressive prediction performance in various domains, it is well known now that a set of DNN models trained with the same model specification and the same data can produce very different prediction results. Ensemble method is one state-of-the-art benchmark for prediction uncertainty estimation. However, ensembles are expensive to train and serve for web-scale traffic. In this paper, we seek to advance the understanding of prediction variation estimated by the ensemble method. Through empirical experiments on two widely used benchmark datasets MovieLens and Criteo in recommender systems, we observe that prediction variations come from various randomness sources, including training data shuffling, and parameter random initialization. By introducing more randomness into model training, we notice that ensemble's mean predictions tend to be more accurate while the prediction variations tend to be higher. Moreover, we propose to infer prediction variation from neuron activation strength and demonstrate the strong prediction power from activation strength features. Our experiment results show that the average R squared on MovieLens is as high as 0.56 and on Criteo is 0.81. Our method performs especially well when detecting the lowest and highest variation buckets, with 0.92 AUC and 0.89 AUC respectively. Our approach provides a simple way for prediction variation estimation, which opens up new opportunities for future work in many interesting areas (e.g.,model-based reinforcement learning) without relying on serving expensive ensemble models.

연구 동기 및 목표

• 추천 시스템에서 사용되는 앙상블 딥 네트워크의 예측 변동성의 원인과 성격을 이해하기 위해.
• 뉴런 활성화 강도가 앙상블에 의존하는 계산 비용이 많이 드는 추론에 비해 예측 변동성의 대체 지표로 사용될 수 있는지 조사하기 위해.
• 단일 순방향 전파에서의 활성화 특징만을 사용하여 예측 불확실성을 경량화된 방법으로 추정하고 검증하기 위해.
• 실시간 웹 스케일 추천 시스템에서 확장 가능한 불확실성 추정을 가능하게 하기 위해 전체 앙상블을 활성화 기반 추론으로 대체하기 위해.

제안 방법

• 저자는 데이터 셔플링, 가중치 초기화 등 통제된 랜덤성을 가진 여러 DNN 모델을 훈련시어 앙상블 예측을 생성하고 각 입력에 대한 예측 변동성을 정량화한다.
• 예측 변동성은 각 입력 예제에 대해 앙상블 구성원들 간의 예측 분산으로 정의된다.
• 뉴런 활성화 강도는 DNN의 단일 순방향 전파에서 활성화 값과 뉴런의 이진 케이스/오프 상태를 사용하여 추출된다.
• 활성화 강도 특징을 입력으로 사용하여 앙상블 예측 변동성을 예측하는 지도 학습 회귀 모델을 훈련시킨다.
• 성능은 R²와 AUC로 측정되며, 이는 MovieLens(회귀)와 Criteo(이元 분류) 데이터셋에서 평가된다.
• 기준 예측 변동성을 계산하기 위해 1,000개의 모델로 구성된 기준 앙상블을 사용하고, 최적의 앙상블 크기를 결정하기 위해 델타 비율을 통해 작은 앙상블의 성능을 평가한다.

실험 결과

연구 질문

• RQ1 동일한 사양과 데이터로 훈련된 DNN 앙상블에서 예측 변동성의 주요 원인은 무엇인가?
• RQ2 훈련 중의 랜덤성 증가(예: 데이터 셔플링, 가중치 초기화)가 앙상블 예측의 정확도와 변동성에 어떤 영향을 미치는가?
• RQ3 단일 순방향 전파에서의 뉴런 활성화 강도가 전체 앙상블에서 관찰된 변동성을 신뢰성 있게 예측할 수 있는가?
• RQ4 활성화 기반 방법은 극단적인 변동성 케이스(예: 가장 낮고 가장 높은 변동성 버킷)를 얼마나 잘 탐지하는가?

주요 결과

• DNN 앙상블의 예측 변동성은 데이터 셔플링과 파rameter 초기화와 같은 다수의 랜덤성 원인에서 기인하며, 랜덤성 증가에 따라 증가한다.
• 더 높은 랜덤성을 가진 앙상블은 더 정확한 평균 예측을 생성하지만, 동시에 더 높은 예측 변동성을 보이며, 이는 정확도와 불확실성 사이의 상충 관계를 시사한다.
• 뉴런 활성화 강도 특징은 MovieLens에서 R² 0.56, Criteo에서 R² 0.81로 앙상블 예측 변동성을 예측하는 데 강력한 예측 능력을 보였다.
• 이 방법은 극단적인 변동성 버킷 탐지에서 뛰어난 성능을 보였으며, 가장 낮은 변동성에서 AUC 0.92, 가장 높은 변동성에서 AUC 0.89를 기록했다.
• 델타 비율 분석 결과, 100개의 앙상블은 기준 앙상블 1,000개 모델에서의 예측 변동성의 약 93%를 포괄하는 것으로 나타났다.