[論文レビュー] Denoising User-aware Memory Network for Recommendation

Zhi Bian, Shaojun Zhou+7 more|arXiv (Cornell University)|Jul 12, 2021

Recommender Systems and Techniques参考文献 45被引用数 4

ひとこと要約

本稿では、直交マッピングを用いて明示的フィードバックを介してノイズの多い暗黙的フィードバックを精錬することで、長期間のユーザーの好みを洗練されたメモリネットワークでモデル化し、ゲーティング機構を用いて短期的・長期的関心を統合する、ノイズ除去型ユーザー認識メモリネットワーク（DUMN）を提案する。DUMNは2つの実世界のECデータセットで最先端性能を達成し、偏りのないユーザーの好みを捉える精度と頑健性の両面で優れた性能を示している。

ABSTRACT

For better user satisfaction and business effectiveness, more and more attention has been paid to the sequence-based recommendation system, which is used to infer the evolution of users' dynamic preferences, and recent studies have noticed that the evolution of users' preferences can be better understood from the implicit and explicit feedback sequences. However, most of the existing recommendation techniques do not consider the noise contained in implicit feedback, which will lead to the biased representation of user interest and a suboptimal recommendation performance. Meanwhile, the existing methods utilize item sequence for capturing the evolution of user interest. The performance of these methods is limited by the length of the sequence, and can not effectively model the long-term interest in a long period of time. Based on this observation, we propose a novel CTR model named denoising user-aware memory network (DUMN). Specifically, the framework: (i) proposes a feature purification module based on orthogonal mapping, which use the representation of explicit feedback to purify the representation of implicit feedback, and effectively denoise the implicit feedback; (ii) designs a user memory network to model the long-term interests in a fine-grained way by improving the memory network, which is ignored by the existing methods; and (iii) develops a preference-aware interactive representation component to fuse the long-term and short-term interests of users based on gating to understand the evolution of unbiased preferences of users. Extensive experiments on two real e-commerce user behavior datasets show that DUMN has a significant improvement over the state-of-the-art baselines. The code of DUMN model has been uploaded as an additional material.

研究の動機と目的

• 暗黙的フィードバックに含まれるノイズがユーザーの好み表現を歪め、推薦性能を低下させる問題に対処すること。
• 系列長依存のRNNベースの手法に起因する制限を克服し、長期的なユーザーの関心をより効果的にモデル化すること。
• 関心に配慮した方法で短期的および長期的関心を統合することで、CTR予測の精度を向上させること。
• 暗黙的（クリック／非クリック）および明示的（いいね／いいねしない）フィードバックを統合的に活用し、偏りのない好みモデルを構築する統合フレームワークを開発すること。
• 実世界の推薦シナリオにおいて、特徴の精錬と細分化された長期的関心表現の有効性を実証すること。

提案手法

• 明示的フィードバックに基づいて暗黙的フィードバック表現の整合性と精錬を図る直交マッピングを用いた特徴精錬（FP）モジュールを導入し、ノイズを低減する。
• 長期的なユーザー関心を長期間にわたり安定して捉えるために、メモリ容量と安定性を向上させたユーザー記憶ネットワーク（UMN）を提案する。
• ゲーティング機構を用いて動的に短期的および長期的関心を統合する、関心に配慮した相互作用表現（PAIR）モジュールを設計する。
• 包括的なユーザー好みモデル化のため、クリック、非クリック、いいね、いいえの4つのフィードバックシーケンスを構築する。
• 明示的フィードバックの高い信頼性を活用して、ノイズの多い暗黙的フィードバック表現を是正するノイズ除去戦略を採用する。
• CTR予測といいねしない予測を同時に最適化できるマルチタスク学習目的関数を用いて、エンドツーエンドのモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 明示的フィードバックを効果的に活用して、暗黙的フィードバック表現のノイズを低減し、ユーザー好みモデルの質を向上させることができるか？
• RQ2 洗練されたメモリネットワークアーキテクチャは、標準的なRNNと比較して、長期的なユーザー関心をよりよく捉え、保持できるか？
• RQ3 ゲーティング機構を用いた短期的および長期的関心の統合は、より正確で安定したCTR予測をもたらすか？
• RQ4 実世界のEC推薦タスクにおいて、提案されたDUMNモデルは最先端のベースラインと比較してどの程度優れているか？
• RQ5 ユーザーの不満（例：いいねしない予測）をどの程度改善できるか、モデルの感度と頑健性が向上するか？

主な発見

• DUMNは2つの実世界のECデータセットにおいて、最先端のベースラインを顕著に上回り、優れたCTR予測性能を示した。
• 特徴精錬モジュールは、可視化結果から、ノイズ除去後のクリック／非クリック表現と明示的いいね／いいえ表現の間の分離が明確に向上していることから、暗黙的フィードバックのノイズ低減に効果的であることが確認された。
• ユーザー記憶ネットワークは、時間の経過とともに同じユーザーの表現が埋め込み空間でクラスタリングされることで、安定した長期的ユーザー関心を効果的に捉えていることが示された。
• 短期的関心表現はより散らばっている一方で、長期的関心表現は安定的かつコンパクトな領域に収束しており、モデルが一時的でない関心を的確に区別できることを裏付けた。
• DUMNはDFNベースラインよりもいいねしない予測性能を上回っており、ユーザーの不満への感受性が向上し、モデル全体の頑健性が向上していることが示された。
• 可視化結果から、FPおよびUMNモジュールが、偏りのない細分化されたユーザー好みを学習するモデルの能力を効果的に高めていることが確認された。