[論文レビュー] GPT as a Baseline for Recommendation Explanation Texts

Joyce Zhou, Thorsten Joachims|arXiv (Cornell University)|Sep 16, 2023

Explainable Artificial Intelligence (XAI)Computer Science被引用数 3

ひとこと要約

本研究では、模擬的なレコメンデーションシステムにおいて、GPTが生成した映画推薦の説明文を人間が書いたレビューと比較して評価した。参加者は、自分が既に見た映画について、モデルが生成したレビューを人間のレビューよりも顕著に良いと評価した。これは、大規模言語モデル（LLM）が、パーソナライズされ、情報が多く、説得力のある推薦の説明文として強力なベースラインを提供できることを示している。

ABSTRACT

In this work, we establish a baseline potential for how modern model-generated text explanations of movie recommendations may help users, and explore what different components of these text explanations that users like or dislike, especially in contrast to existing human movie reviews. We found that participants gave no significantly different rankings between movies, nor did they give significantly different individual quality scores to reviews of movies that they had never seen before. However, participants did mark reviews as significantly better when they were movies they had seen before. We also explore specific aspects of movie review texts that participants marked as important for each quality. Overall, we establish that modern LLMs are a promising source of recommendation explanations, and we intend on further exploring personalizable text explanations in the future.

研究の動機と目的

• 現代のLLMが生成するテキスト説明が、レコメンデーションシステムにおけるユーザーエクスペリエンスをどのように向上させられるか、ベースラインを確立すること。
• GPTが生成したレビューが、人間が書いたレビューと同等あるいはそれ以上に、ユーザーライクスに影響を与えるとされるかどうかを調査すること。
• 構造、コンテンツ、トーン、パーソナライズ性といったレビューのテキスト要因のうち、どの要素が正確性、情報性、説得力、興味深さにおいて最も価値があるとユーザーユーザーが感じているかを特定すること。
• LLMが、満足度と透明性を高めるために、パーソナライズされ、ユーザー中心の推薦説明文を生成する可能性を検討すること。

提案手法

• 120名の参加者を対象に、映画推薦を模擬した環境でアンケート調査を実施した。
• 参加者に、GPTが生成した説明文が添付された映画推薦と、人間が書いたレビューが添付された映画推薦をペアで提示した。
• ユーザーの好みを、四つの次元（正確性、情報性、説得力、興味深さ）における順位付けタスクと個別評価スコアで測定した。
• 自由記述フィードバックを分析し、物語の要約、ジャンル、俳優、文化的文脈、ライティングスタイルといったテキスト的要素のうち、ユーザーが価値を感じたり批判したりした点を特定した。
• 視聴経験の有無に着目し、視聴済み・未視聴の両方の映画について、モデル生成と人間生成のレビューを比較する制御されたデザインを採用した。
• リッカート尺度評価と定性的分析を用いて、レビューの質と好みに関するユーザーの認識を評価した。

実験結果

リサーチクエスチョン

• RQ1 視聴済みでない映画に対して、モデルが生成したテキスト説明文を提示した場合、人間が生成したテキストと比較して、ユーザーの視聴希望順位にどのような影響を与えるか？特に、初めて見る映画に対して。
• RQ2 モデルが生成したテキスト説明文は、人間が書いたレビューと比較して、正確性、情報性、説得力、興味深さの各個別評価スコアで顕著に異なる評価を受けるか？
• RQ3 具体的なテキスト的要素（例：物語の要約、ジャンル、個人のエピソード、トーン）のうち、ユーザーがレビューの質において最も重要または悪影響だと感じるのはどれか？
• RQ4 映画の事前視聴経験が、ユーザーの推薦説明文の質と説得力に関する認識にどのように影響するか？

主な発見

• 参加者がまだ見たことがない映画については、GPTが生成したレビューと人間が書いたレビューの間で、ユーザーの順位付けに有意差は認められなかった。
• 参加者が既に見た映画については、GPTが生成したレビューが、正確性、情報性、説得力、興味深さのすべての次元で、人間が書いたレビューを顕著に上回る評価を得た。
• 参加者は、ジャンル、俳優、批評の反応といった構造的アイテム特徴を、正確性と情報性の観点で特に高く評価した。
• ライティングスタイルとトーンは、説得力と興味深さにおいて頻繁に重要な要因とされたが、過度に個人的すぎたり、曖昧すぎたり、長々としすぎたりするレビューについては批判が多かった。
• 物語の要約や客観的情報が欠けた、単に個人のエピソードに特化した人間のレビューは、しばしば批判を受けた。一方、GPTが生成したテキストは、よりバランスが取れており、情報量が多いと見なされた。
• 未視聴映画に関しては有意な性能差が認められなかったが、視聴済み映画ではリッカート尺度の効果が顕著に強かったことから、ユーザーが事前に経験を持っている状況では、GPTが生成したレビューがより効果的であると考えられる。