[論文レビュー] NISER: Normalized Item and Session Representations to Handle Popularity Bias

Priyanka Gupta, D. Garg+3 more|arXiv (Cornell University)|Sep 10, 2019

Speech Recognition and Synthesis参考文献 13被引用数 28

ひとこと要約

本稿では、アイテムおよびセッショングラフ埋め込みを単位超球面上に正規化することにより、グラフニューラルネットワーク（GNN）ベースのシステムにおける人気度バイアスを軽減する、NISERと呼ばれるセッションベース推薦モデルを提案する。内積の代わりにコサイン類似度を最適化することで、長尾および新規導入アイテムの推薦性能が顕著に向上し、3つのベンチマークデータセットで最先端の結果を達成するとともに、人気アイテムへのバイアスを低減する。

ABSTRACT

The goal of session-based recommendation (SR) models is to utilize the information from past actions (e.g. item/product clicks) in a session to recommend items that a user is likely to click next. Recently it has been shown that the sequence of item interactions in a session can be modeled as graph-structured data to better account for complex item transitions. Graph neural networks (GNNs) can learn useful representations for such session-graphs, and have been shown to improve over sequential models such as recurrent neural networks [14]. However, we note that these GNN-based recommendation models suffer from popularity bias: the models are biased towards recommending popular items, and fail to recommend relevant long-tail items (less popular or less frequent items). Therefore, these models perform poorly for the less popular new items arriving daily in a practical online setting. We demonstrate that this issue is, in part, related to the magnitude or norm of the learned item and session-graph representations (embedding vectors). We propose a training procedure that mitigates this issue by using normalized representations. The models using normalized item and session-graph representations perform significantly better: i. for the less popular long-tail items in the offline setting, and ii. for the less popular newly introduced items in the online setting. Furthermore, our approach significantly improves upon existing state-of-the-art on three benchmark datasets.

研究の動機と目的

• GNNベースのセッションベース推薦モデルにおける人気度バイアスを解消すること。これは、アイテム頻度分布の偏りにより人気アイテムが過剰に代表されるためである。
• アイテムおよびセッショングラフ埋め込みのL2ノルムを正規化することで、バイアスを低減し、長尾および新規導入アイテムの性能を向上させられるかを調査すること。
• トレーニングおよびインフェレンスの両方の段階で、表現を単位超球面上に制約する訓練手順を開発することにより、公平性および一般化性能を向上させること。
• 特に低頻度および新規アイテムにおいて、正規化された表現の有効性をオフラインおよびオンラインの推薦設定で示すこと。
• 既存のGNNベースのモデル（例：SR-GNN）を改善することで、セッションベース推薦における新たな最先端のパフォーマンスを確立すること。

提案手法

• アイテムおよびセッショングラフ埋め込みのL2ノルムを1に正規化するNISERを提案し、表現が単位超球面上に位置するように制約する。
• 標準的な内積損失の代わりに、埋め込みノルムの大きさの差によるバイアスを低減するため、トレーニング目的関数にコサイン類似度を組み込む。
• 順序情報の保持を図りながらも、グラフベースのメッセージパッシングを維持できるように、GNNアーキテクチャに位置埋め込みを統合する。
• 特に新規アイテムのデータが少ない状況においても一般化性能を向上させ、過学習を低減するため、アイテム埋め込みにドロップアウトを適用する。
• セッショングラフ表現が次のクリック予測アイテムの表現と一致するよう促すコントラスト学習目的関数を用いてモデルを訓練する。
• 2段階の訓練プロセスを採用する：まず、L2ノルムの制約を適用して埋め込みを事前学習し、次に位置埋め込みおよびドロップアウトのコンponentsを含む完全な損失関数で微調整する。

実験結果

リサーチクエスチョン

• RQ1 GNNベースのセッションベース推薦モデルにおけるアイテムおよびセッショングラフ埋め込みのL2ノルムを正規化することで、人気度バイアスが低減するか？
• RQ2 正規化された表現は、オンライン設定において、人気の低いアイテムおよび新規導入アイテムの推薦性能を向上させられるか？
• RQ3 正規化、位置埋め込み、ドロップアウトの組み合わせが、モデル全体の性能およびロバストネスに与える影響はいかほどか？
• RQ4 NISERは、オフラインおよびオンラインの評価設定において、既存の最先端モデルをどの程度上回るか？
• RQ5 多クラス分類設定におけるソフトマックス損失が引き起こす径方向バイアスを、埋め込みの正規化がどの程度軽減できるか？

主な発見

• ϕ* = 0.01 の非常に低頻度のアイテムをターゲットにしたセッションでは、NISER+がRecall@20およびMRR@20で13%〜28%の相対的向上を達成し、ϕ* = 0.001 の場合、それぞれ26%および34%の向上を示した。
• 新規導入の長尾アイテムにおいて、NISER+は発売初日においてGNN+を上回り、限られたトレーニングデータの中でも新規アイテムを効果的に推薦できることを示した。
• NISER+は、人気度バイアスが時間経過とともに増大する中でも、日々の性能が安定しており、特にYCデータセットではGNN+が著しく劣化するのと対照的であった。
• アブレーションスタディの結果、埋め込みのL2正規化が最も重要な要因であり、全データセットで位置埋め込みやドロップアウトよりも寄与度が高かった。
• NISER+は3つのベンチマークデータセット（DN, RR, YC）で、Recall@20およびMRR@20の両方においてGNN+を上回り、新たな最先端のパフォーマンスを達成した。
• ARP（人気度別平均リコール）が顕著に低減され、特に低頻度アイテムにおける人気度バイアスの低減が明確に示された。