[論文レビュー] Improving Conversational Recommender System via Contextual and Time-Aware Modeling with Less Domain-Specific Knowledge

Lingzhi Wang, Shafiq Joty+3 more|arXiv (Cornell University)|Sep 23, 2022

Recommender Systems and Techniques被引用数 5

ひとこと要約

本稿では、外部の分野特化型知識に依存せずに、会話の内部文脈を活用する文脈的かつ時系列に配慮した対話型レコメンデーションシステムを提案する。時間に配慮したアテンションメカニズムを用いてエンティティレベルと文脈レベルの表現を同時にモデリングし、生成モジュールを事前学習済みBARTで初期化することで、ReDialおよびOpenDialKGにおいて最先端の性能を達成した。外部知識への依存を軽減するとともに、異なる分野への一般化性能が向上した。

ABSTRACT

Conversational Recommender Systems (CRS) has become an emerging research topic seeking to perform recommendations through interactive conversations, which generally consist of generation and recommendation modules. Prior work on CRS tends to incorporate more external and domain-specific knowledge like item reviews to enhance performance. Despite the fact that the collection and annotation of the external domain-specific information needs much human effort and degenerates the generalizability, too much extra knowledge introduces more difficulty to balance among them. Therefore, we propose to fully discover and extract internal knowledge from the context. We capture both entity-level and contextual-level representations to jointly model user preferences for the recommendation, where a time-aware attention is designed to emphasize the recently appeared items in entity-level representations. We further use the pre-trained BART to initialize the generation module to alleviate the data scarcity and enhance the context modeling. In addition to conducting experiments on a popular dataset (ReDial), we also include a multi-domain dataset (OpenDialKG) to show the effectiveness of our model. Experiments on both datasets show that our model achieves better performance on most evaluation metrics with less external knowledge and generalizes well to other domains. Additional analyses on the recommendation and generation tasks demonstrate the effectiveness of our model in different scenarios.

研究の動機と目的

• 対話型レコメンデーションシステム（CRS）における、高コストで分野特化型の外部知識への過剰な依存という課題に対処すること。
• 会話履歴から得られるエンティティレベル（アイテム中心）および文脈レベル（会話および意味的）の表現を捉えることで、ユーザーの好みのモデリングを改善すること。
• 時間に配慮したアテンションメカニズムを用いて、最近に言及されたアイテムに高い重みを割り当てることで、ユーザー好みのモデリングに時間的ダイナミクスを組み込むこと。
• 事前学習済みBARTモデルを生成モジュールに初期化することで、生成された応答の質と多様性を向上させること。
• ReDialおよびOpenDialKGの両データセットを用いて、複数の分野にわたる一般化性能と頑健性を示すこと。

提案手法

• 会話で言及されたアイテムから得られるエンティティレベル表現と、文脈エンコーダーから得られる文脈レベル表現の二重表現を用いてユーザーの好みをモデル化する。
• 時間に配慮したアテンションメカニズムを導入し、最近に言及されたアイテムに高いアテンション重みを割り当てる。recency効果を制御するための学習可能なスケーリング因子λを導入する。
• 応答生成モジュールのバックボーンとして事前学習済みBARTモデルを用いることで、応答の流暢さ、一貫性、多様性を向上させる。
• エンティティレベル表現と文脈レベル表現を、ハイパーパrameter μで制御される重み付き融合機構により統合する。これにより、アイテムレベルと会話レベルの信号の動的バランスを可能にする。
• 交差エントロピー損失と応答生成損失を用いて、推薦および生成タスクを統合的にエンドツーエンドで学習する。
• アテンション機構を活用してユーザー発話と関連するアイテムをアライメントさせ、文脈に適した応答を生成する。

実験結果

リサーチクエスチョン

• RQ1 アイテムレビューまたは知識グラフなどの広範な外部分野特化型知識に依存しないで、対話型レコメンデーションシステムが高精度を達成できるか。
• RQ2 具体的に、アイテムの言及の「新鮮さ」を表す時間的ダイナミクスを組み込むことで、推薦精度とユーザー好みのモデリングにどのような影響を与えるか。
• RQ3 会話の流れや意味を捉える文脈レベル表現が、アイテムの言及を捉えるエンティティレベル表現と、どれほど補完的かつ効果的に組み合わさり、推薦品質を向上させるか。
• RQ4 BARTによる大規模テキストでの事前学習が、リソースが限られたCRS環境において、応答生成の質と多様性を顕著に向上させられるか。
• RQ5 本手法は、映画（ReDial）と書籍（OpenDialKG）といった異なる分野において、既存手法と比較してどれほど一般化性能を発揮するか。

主な発見

• 提案手法は、ReDialおよびOpenDialKGの両データセットで最先端の性能を達成した。外部知識の使用を減らしたにもかかわらず、ほとんどの評価指標で既存手法を上回った。
• 時間に配慮したアテンションメカニズムは推薦性能を顕著に向上させた。λ > 1 の場合に最適な結果が得られ、最近に言及されたアイテムが推薦により大きな寄与をしていることが示された。
• エンティティレベル表現と文脈レベル表現の融合により性能が向上し、μ ≈ 0.5 のときに最も良い結果が得られた。これは両表現が本質的かつ補完的であることを示している。
• 生成モジュールに事前学習済みBARTを用いることで、繰り返しや一般的な返答が多くなるベースラインと比較して、より多様で文脈に適した応答が生成された。
• 本モデルは、訓練とは異なる分野（OpenDialKG）に対しても良好に一般化しており、強い性能を示した。
• Dist-nおよびBLEU指標は応答長さに敏感であり、長さペナルティの影響を受けるため、自動評価指標だけでは生成品質を信頼的に反映できない可能性がある。したがって、人間による評価を推奨する。