[論文レビュー] Unbiased Recommender Learning from Missing-Not-At-Random Implicit Feedback

Yuta Saito, Suguru Yaginuma+3 more|arXiv (Cornell University)|Sep 9, 2019

Advanced Bandit Algorithms Research参考文献 29被引用数 14

ひとこと要約

本稿では、implicit feedbackにおけるmissing-not-at-random (MNAR) 問題に対処するため、アイテムの露出確率をモデル化し、逆確率重み付けを適用することで、推薦システムにおける不偏推定量を提案する。この手法は、損失推定におけるバイアスを低減することで、特にレアアイテムにおける関連性予測を向上させ、DCC@5、Recall@5、MAP@5の指標において、WMF や ExpoMF などのベースラインを上回る性能を示す。

ABSTRACT

Recommender systems widely use implicit feedback such as click data because of its general availability. Although the presence of clicks signals the users' preference to some extent, the lack of such clicks does not necessarily indicate a negative response from the users, as it is possible that the users were not exposed to the items (positive-unlabeled problem). This leads to a difficulty in predicting the users' preferences from implicit feedback. Previous studies addressed the positive-unlabeled problem by uniformly upweighting the loss for the positive feedback data or estimating the confidence of each data having relevance information via the EM-algorithm. However, these methods failed to address the missing-not-at-random problem in which popular or frequently recommended items are more likely to be clicked than other items even if a user does not have a considerable interest in them. To overcome these limitations, we first define an ideal loss function to be optimized to realize recommendations that maximize the relevance and propose an unbiased estimator for the ideal loss. Subsequently, we analyze the variance of the proposed unbiased estimator and further propose a clipped estimator that includes the unbiased estimator as a special case. We demonstrate that the clipped estimator is expected to improve the performance of the recommender system, by considering the bias-variance trade-off. We conduct semi-synthetic and real-world experiments and demonstrate that the proposed method largely outperforms the baselines. In particular, the proposed method works better for rare items that are less frequently observed in the training data. The findings indicate that the proposed method can better achieve the objective of recommending items with the highest relevance.

研究の動機と目的

• ユーザーの好みに関係なく、人気のあるアイテムがクリックされやすいという、implicit feedbackにおけるmissing-not-at-random (MNAR) 問題に対処する。
• クリック確率を最適化するのではなく、真の関連性を最適化することを目的とするため、WMF や ExpoMF などの既存手法が示すバイアスを克服する。
• 因果推論に由来する逆確率スコアに基づき、関連性を最大化する理想の損失関数の不偏推定量を開発する。
• クリッピング推定量を用いてバイアスと分散のトレードオフを最適化することで、レアアイテムへの一般化を向上させる。
• 提案手法が、特に低露出（レア）アイテムにおいて、DCG@5、Recall@5、MAP@5 などの関連性指標で、ベースラインを上回るランク付け性能を示すことを実証する。

提案手法

• クリック確率とは異なる、ユーザーの関連性を最大化する理想の損失関数を定義し、推薦システムの真の目的と整合させる。
• 逆確率重み付け（IPW）を用いた理想損失関数の不偏推定量を提案する。ここで、確率スコアはアイテムの露出確率を表す。
• IPW推定量の分散を分析し、極端な重みを上限で制限することで分散を低減するクリッピング推定量を導入し、バイアスと分散のトレードオフを改善する。
• ハイパーパrameterチューニングのため、自己正規化逆確率スコア（SNIPS）を用い、異なるアイテム分布を持つ検証セットでも安定した評価を保証する。
• 行列分解フレームワーク内に本手法を適用し、クリッピング推定量を用いてアイテムおよびユーザー埋め込みの予測を最適化する。
• トレーニングデータにおける相対頻度に基づき、アイテムの人気度を用いて確率スコアを推定する。ユーザー固有の露出行動を完全に捉えるには限界があると認識する。

実験結果

リサーチクエスチョン

• RQ1 implicit feedbackにおいて、クリック確率ではなく真のユーザー関連性を最適化するための理想損失関数をどのように定義できるか？
• RQ2 WMF や ExpoMF などの既存手法が、MNAR問題に起因する損失関数のバイアスをどの程度受けるのか？
• RQ3 逆確率重み付けに基づく不偏推定量は、特にレアアイテムにおいて推薦性能を向上させることができるか？
• RQ4 不偏推定量の分散が性能に与える影響は何か？また、推定量のクリッピングはバイアスと分散のトレードオフを改善できるか？
• RQ5 提案手法は、DCG@5、Recall@5、MAP@5 などの指標において、特に低露出（レア）アイテムにおいてベースラインを上回る性能を示すか？

主な発見

• 提案手法であるRel-MFは、全体のアイテムにおいてExpoMFを20.4%上回るDCG@5を達成し、レアアイテムでは11.8%の向上を示した。
• レアアイテムにおいて、最良のベースライン（ExpoMF）を6.4%上回るRecall@5の向上を達成し、低頻度アイテムへの一般化能力が優れていることを示した。
• 全体のアイテムではExpoMFを26.6%、レアアイテムでは11.2%上回るMAP@5の向上を達成し、より優れたランク付け品質を確認した。
• K=1のレアアイテムにおいてはExpoMFがRel-MFを上回ったが、全体的なトレンドとしてRel-MFの優位性が明確であり、特にクリッピングによるバイアス-分散トレードオフの最適化が顕著に効果を発揮した。
• クリッピング推定量は損失推定量の分散を低減し、特に露出確率が低いアイテムにおいて、より安定かつ正確な予測を可能にした。
• 実験的結果から、提案手法がクリックベース最適化に内在するバイアスを低減し、関連性を最大化するという目的により適していることが確認された。