[論文レビュー] Personalized Prompt Learning for Explainable Recommendation

Lei Li, Yongfeng Zhang+1 more|arXiv (Cornell University)|Feb 15, 2022

Recommender Systems and Techniques被引用数 29

ひとこと要約

PEPLERは、ユーザーIDとアイテムIDをプロンプトとして扱い、離散プロンプト（特徴）または連続プロンプト（IDベクトル）を用いて説明可能な推奨を生成する個別化プロンプト学習を導入し、事前学習済みトランスフォーマーとのギャップを埋める2つの学習戦略を提供する。

ABSTRACT

Providing user-understandable explanations to justify recommendations could help users better understand the recommended items, increase the system's ease of use, and gain users' trust. A typical approach to realize it is natural language generation. However, previous works mostly adopt recurrent neural networks to meet the ends, leaving the potentially more effective pre-trained Transformer models under-explored. In fact, user and item IDs, as important identifiers in recommender systems, are inherently in different semantic space as words that pre-trained models were already trained on. Thus, how to effectively fuse IDs into such models becomes a critical issue. Inspired by recent advancement in prompt learning, we come up with two solutions: find alternative words to represent IDs (called discrete prompt learning), and directly input ID vectors to a pre-trained model (termed continuous prompt learning). In the latter case, ID vectors are randomly initialized but the model is trained in advance on large corpora, so they are actually in different learning stages. To bridge the gap, we further propose two training strategies: sequential tuning and recommendation as regularization. Extensive experiments show that our continuous prompt learning approach equipped with the training strategies consistently outperforms strong baselines on three datasets of explainable recommendation.

研究の動機と目的

• 推奨システムにおけるユーザーが理解できる説明の必要性を喚起し、使いやすさと信頼性を向上させる。
• 説明生成のためにユーザーID/アイテムIDを事前学習済み言語モデルと融合させる方法を調査する。
• 従来のシーケンスモデルを用いずに説明を生成するための、2つのプロンプトベースのアプローチ（離散と連続）を提案する。
• ランダムに初期化されたプロンプトを固定された事前学習モデルと整合させて説明可能性を高める学習戦略を開発する。

提案手法

• 事前学習済みのトランスフォーマー内で説明生成を導くために、アイテム特徴をプロンプトとして用いる離散プロンプト学習（PEPLER-D）を提案する。
• IDを学習可能なプロンプトベクトルとして埋め込み、説明とともに入力する連続プロンプト学習（PEPLER-C）を提案する。
• プロンプトに条件づけられた語の予測でモデルを訓練するネガティブ対数尤度目的を導入する。
• 連続プロンプトのための2つの学習戦略を開発する：逐次チューニング（LMを凍結してから結合微調整）と推奨を正則化として用いる（評価予測を説明品質の向上に活用する）
• ユーザーIDとアイテムIDを特徴量として（離散プロンプト）または学習済み埋め込みとして（連続プロンプト）表現し、貪欲デコードで説明を生成する。
• (u,i) または (u,i) と特徴量を用いて、基盤となる推奨モデルに対する互換性を確保し、説明を条件付けする。

Figure 1. A review example from Yelp. The user and the restaurant are omitted for privacy protection.

実験結果

リサーチクエスチョン

• RQ1 個別化されたプロンプト（離散または連続）は、事前学習済み言語モデルを用いた効果的な説明可能推奨を実現できるか。
• RQ2 ランダムに初期化された連続プロンプトと固定された事前学習済みトランスフォーマーの学習ギャップをどのように埋められるか。
• RQ3 逐次チューニングや推奨を正則化として用いる学習戦略は、説明品質と説明可能性を改善するか。
• RQ4 離散的（特徴ベース）プロンプトと連続的（IDベクトル）プロンプトは、説明生成においてどのように比較されるか。
• RQ5 このアプローチは、さまざまな基盤推奨モデル（例：MF、MLP）やデータセットに適用可能か。

主な発見

• 提案された学習戦略を用いた連続プロンプト学習は、3つのデータセットでテキスト品質と説明可能性の点で強力なベースラインを上回る。
• PEPLER-Dは、情報量の多いアイテム特徴を事前学習モデル内のプロンプトとして活用することで、効果的な説明生成を示す。
• 逐次チューニングは、共同訓練前に連続プロンプトを事前学習モデルと整合させ、最適化の問題を緩和する。
• 推奨を正則化として用いることで、学習過程に評価予測信号を取り入れ、説明品質を向上させる。
• PEPLERは、RNNベース、標準的なTransformer、または事前学習なしのアプローチに基づく方法を、説明可能な推奨タスクで上回る。

Figure 2. A comparison between left-to-right unidirectional attention masking (left) and bidirectional attention masking (right).