[論文レビュー] Deep density networks and uncertainty in recommender systems

Yoel Zeldes, Stavros Theodorakis+4 more|arXiv (Cornell University)|Nov 7, 2017

Advanced Bandit Algorithms Research参考文献 17被引用数 8

ひとこと要約

本稿では、測定誤差、データ不確実性、モデル不確実性を再検査システムに組み込むことで、マルチアームバンディット設定における楽観的探索を可能にするハイブリッドディープニューラルネットワーク、Deep Density Networks (DDN) を提案する。測定ノイズとデータ不確実性を分離し、ガウス成分を用いた混合密度ネットワークを用いることで、オンライン推薦性能が向上し、実運用環境においてベースラインモデルと比較して2.9%のRPM向上と11.7%高いターゲットスループットを達成した。

ABSTRACT

Building robust online content recommendation systems requires learning complex interactions between user preferences and content features. The field has evolved rapidly in recent years from traditional multi-arm bandit and collaborative filtering techniques, with new methods employing Deep Learning models to capture non-linearities. Despite progress, the dynamic nature of online recommendations still poses great challenges, such as finding the delicate balance between exploration and exploitation. In this paper we show how uncertainty estimations can be incorporated by employing them in an optimistic exploitation/exploration strategy for more efficient exploration of new recommendations. We provide a novel hybrid deep neural network model, Deep Density Networks (DDN), which integrates content-based deep learning models with a collaborative scheme that is able to robustly model and estimate uncertainty. Finally, we present online and offline results after incorporating DNN into a real world content recommendation system that serves billions of recommendations per day, and show the benefit of using DDN in practice.

研究の動機と目的

• ユーザー・アイテム相互作用における不確実性のモデル化により、コンテンツ推薦システムにおけるコールドスタート問題に対処すること。
• 楽観的活用／探索戦略に不確実性推定を組み込むことで、オンライン推薦システムにおける探索効率を向上させること。
• 測定、データ、モデル不確実性の3種類の不確実性を明示的に分離し、モデル化する統合型ディープラーニングモデルの開発。
• 数十億件の日次推薦を実施する大規模な実運用コンテンツ推薦システムにおいて、不確実性に配慮したモデル化の有効性を検証すること。
• 測定ノイズとデータ不確実性を分離することで、ノイズの多い訓練データにおいて一般化性能とロバストネスが向上することを示すこと。

提案手法

• コンテンツベース表現と協調フィルタリングを共同融合方式で統合するハイブリッドディープニューラルネットワークであるDeep Density Networks (DDN) を提案する。
• 出力分布が予測不確実性を捉えるように、ガウス成分を用いた混合密度ネットワーク（MDN）を用いて不確実性をモデル化する。
• ガウス分布を用いて測定ノイズを明示的にモデル化し、データ不確実性から分離することで、ノイズの多いデータに対するロバストネスを向上させる。
• 訓練中に測定ノイズとデータ不確実性を分離することで、ノイズの多いラベルの影響を軽減するハイブリッド損失関数を導入する。
• 不確実性推定に基づく楽観的探索戦略を採用し、不確実性がより高い行動を優先することで長期的な報酬を向上させる。
• モンテカルロドロップアウトを用いて近似的なベイズ推論を実現し、完全なベイズ推論を伴わずに不確実性に配慮した予測を可能にする。

実験結果

リサーチクエスチョン

• RQ1 測定、データ、モデル不確実性の明示的モデル化が、大規模なオンラインシステムにおける推薦性能を向上させることができるか？
• RQ2 測定ノイズとデータ不確実性を分離することで、ノイズの多い訓練データにおけるモデルの一般化性能とロバストネスにどのような影響を与えるか？
• RQ3 不確実性推定が、コンテンツ推薦のマルチアームバンディット設定における探索効率をどの程度向上させられるか？
• RQ4 不確実性に基づく選択を用いる際、即時の報酬（RPM）と長期的探索（新規ターゲットおよび広告主のスループット）のトレードオフはいかなるものか？
• RQ5 不確実性推定を組み込んだハイブリッドDNNモデルは、標準的なディープラーニングモデルや混合密度モデルを上回る性能を実運用環境で示せるか？

主な発見

• DDNは、非常に最適化されており、競争力のある最先端モデルであるベースラインREGモデルに対して、2.9%のオンラインRPM向上を達成した。
• MDNベースラインと比較して、DDNはオンラインRPMで1.7%向上し、測定ノイズを明示的にモデル化することの利点を示した。
• ノイズの多いデータセット（D1）において、DDNはMDNと比較してMSEの観点で5.3%の性能向上を達成し、ラベルのノイズに強いことを裏付けた。
• 探索パrameter $a$ を増加させた際、ターゲットスループットは11.7%向上し、広告主スループットは5.1%向上したが、RPMはわずか0.05%低下した。
• 高信頼性データセット（D2）ではMSEが2.7%改善され、データ品質のレベルを問わず一貫した向上を示した。
• 不確実性推定に基づく楽観的探索戦略により、ターゲットスループットは6.5%、広告主スループットは2.1%向上し、新規コンテンツおよび広告主の発見が向上したことが確認された。