[論文レビュー] End-to-end Learnable Diversity-aware News Recommendation

Chuhan Wu, Fangzhao Wu+2 more|arXiv (Cornell University)|Apr 1, 2022

Recommender Systems and Techniques被引用数 6

ひとこと要約

LeaDivRec は、順列 Transformer を用いてニュース間の関係性をモデル化し、類似ニュースの多様な表現を学習することで、リスト単位のランク付けアプローチにより多様性を向上させるエンド・トゥ・エンドで学習可能なニュースレコメンデーションモデルである。DPP や精度最適化モデル、後処理による再ランク付け手法と比較して、精度と多様性のトレードオフを優れて実現する。

ABSTRACT

Diversity is an important factor in providing high-quality personalized news recommendations. However, most existing news recommendation methods only aim to optimize recommendation accuracy while ignoring diversity. Reranking is a widely used post-processing technique to promote the diversity of top recommendation results. However, the recommendation model is not perfect and errors may be propagated and amplified in a cascaded recommendation algorithm. In addition, the recommendation model itself is not diversity-aware, making it difficult to achieve a good tradeoff between recommendation accuracy and diversity. In this paper, we propose a news recommendation approach named LeaDivRec, which is a fully learnable model that can generate diversity-aware news recommendations in an end-to-end manner. Different from existing news recommendation methods that are usually based on point- or pair-wise ranking, in LeaDivRec we propose a more effective list-wise news recommendation model. More specifically, we propose a permutation Transformer to consider the relatedness between candidate news and meanwhile can learn different representations for similar candidate news to help improve recommendation diversity. We also propose an effective list-wise training method to learn accurate ranking models. In addition, we propose a diversity-aware regularization method to further encourage the model to make controllable diversity-aware recommendations. Extensive experiments on two real-world datasets validate the effectiveness of our approach in balancing recommendation accuracy and diversity.

研究の動機と目的

• 既存のニュースレコメンデーションモデルが多様性を犠牲にして精度を優先するという限界に対処し、重複が多く、あまり魅力的でないレコメンデーションを回避すること。
• DPP のような後処理再ランク付け手法に依存しないようにし、モデルの誤りを拡大し、精度と多様性を効果的にバランスできない問題を解消すること。
• 精度と多様性の両方を統合的な学習プロセスで同時に最適化する、完全に学習可能なエンド・トゥ・エンドのフレームワークを構築すること。
• 学習中のハイパーパrameterを用いて調整可能な多様性認識正則化法を導入し、多様性の制御を可能にすること。

提案手法

• 候補ニュースのリスト内における相互関係を考慮するリスト単位のランク付けモデルを提案し、各ニュースを独立にスコアリングするのではなく、全体の関係性を捉える。
• 異なる入力順列の順序を注意ヘッドごとに使用する、順列 Transformer アーキテクチャを導入し、候補ニュース間の動的関係を捉え、意味的に類似したアイテムに対して多様な表現を学習する。
• 全リストのランク付けを同時に最適化する、画期的なリスト単位の学習目的関数を採用し、実世界のレコメンデーション目標との整合性を高める。
• 損失関数に多様性認識正則化項を組み込み、上位順位の結果において多様なニュースの選択を促進する。この項は、学習可能なハイパーパrameter λ で制御される。
• 実世界のデータセットを用いてエンド・トゥ・エンドで学習し、スプライシングされた後処理を経由せずに、関連性と多様性の両方を同時に最適化する。
• 標準的な位置エンコーディングを備えた Transformer よりも入力順序に敏感ではなく、類似ニュースの区別がより効果的である、順列ベースのアテンションメカニズムを採用する。

実験結果

リサーチクエスチョン

• RQ1 完全にエンド・トゥ・エンドで学習可能なモデルは、従来の精度最適化モデルよりも、精度と多様性のバランスを優れて実現できるか？
• RQ2 順列 Transformer は、ニュース間の関係性をモデル化し、類似ニュースに対して多様な表現を生成するのにどの程度有効か？
• RQ3 多様性認識正則化を組み込んだリスト単位の学習は、ポイントワイズまたはペアワイズ学習と比較して、精度と多様性のトレードオフをより良くするか？
• RQ4 LeaDivRec は、多様性のための標準的な後処理手法である DPP ベースの再ランク付けを上回る精度・多様性のバランスを達成できるか？
• RQ5 学習中に単一のハイパーパrameterを用いて、モデルの多様性レベルをどの程度制御できるか？

主な発見

• 同じ多様性制約下で DPP ベースの再ランク付けよりも高い推薦精度を達成しており、精度と多様性のバランスをより優れて実現していることを示している。
• MIND データセットでは λ = 10 で最適なトレードオフが達成され、PrivateNews データセットでは λ = 20 で最高のパフォーマンスが得られた。これは、多様性の強度を効果的に制御できることを示している。
• 順列 Transformer は、位置エンコーディングを備えた標準的な Transformer およびなしのものと比較して、精度と多様性の両面で優れている。これは、ニュース間関係のモデル化と表現の多様性に優れていることを示している。
• ケーススタディでは、LeaDivRec が意味的に類似したニュースに対して顕著に異なる順位を割り当てており、標準モデルと比較して重複が減少し、結果の多様性が向上している。
• DPP のようなスプライシングされた後処理パイプラインを避けるため、ベースのレコメンデーションモデルの誤りが拡大され・伝搬されるリスクが低減されている。
• 広範な実験により、LeaDivRec は2つの実世界データセットにおいて、精度と多様性の両方の指標で複数の強力なベースラインを一貫して上回っていることが確認された。