[論文レビュー] Measuring "Why" in Recommender Systems: a Comprehensive Survey on the Evaluation of Explainable Recommendation

Xu Chen, Yongfeng Zhang+1 more|arXiv (Cornell University)|Feb 14, 2022

Recommender Systems and Techniques被引用数 12

ひとこと要約

本稿は、説明可能レコメンデーションシステムの評価に関する包括的なサーベイを提示しており、評価の視点（有効性、透過性、説得力、検証可能性）と手法（事例研究、定量的指標、クラウドソーシング、オンライン実験）に基づいて評価手法を分類している。系統的な比較を提供し、各手法の長所と短所を特定し、応用文脈と予算制約に基づいた評価戦略の選定に関する実用的ガイドラインを提示している。

ABSTRACT

Explainable recommendation has shown its great advantages for improving recommendation persuasiveness, user satisfaction, system transparency, among others. A fundamental problem of explainable recommendation is how to evaluate the explanations. In the past few years, various evaluation strategies have been proposed. However, they are scattered in different papers, and there lacks a systematic and detailed comparison between them. To bridge this gap, in this paper, we comprehensively review the previous work, and provide different taxonomies for them according to the evaluation perspectives and evaluation methods. Beyond summarizing the previous work, we also analyze the (dis)advantages of existing evaluation methods and provide a series of guidelines on how to select them. The contents of this survey are based on more than 100 papers from top-tier conferences like IJCAI, AAAI, TheWebConf, Recsys, UMAP, and IUI, and their complete summarization are presented at https://shimo.im/sheets/VKrpYTcwVH6KXgdy/MODOC/. With this survey, we finally aim to provide a clear and comprehensive review on the evaluation of explainable recommendation.

研究の動機と目的

• レコメンデーションシステムにおける説明の評価において、体系的な比較と標準化の欠如に対処すること。
• 説明可能レコメンデーション研究で用いられる主な評価視点—有効性、透過性、説得力、検証可能性—を特定および分類すること。
• 事例研究、定量的指標、クラウドソーシング、オンライン実験の4つの主な評価手法を分析・比較すること。
• 応用文脈、予算、ステークホルダーのニーズに基づいて適切な評価手法を選定するための実行可能なガイドラインを提供すること。
• 研究ギャップと今後の方向性を強調すること。具体的には、タスクに依存しない評価と、複雑なステークホルダーの利得を捉えるための自動化された指標学習。

提案手法

• 説明可能レコメンデーションにおける評価視点の分類を提唱し、説明の有効性、透過性、説得力、検証可能性を含む。
• 評価手法を4つのカテゴリに分類する：事例研究、定量的指標、クラウドソーシング、オンライン実験。各手法には明確な実装方法と使用事例がある。
• 各手法の長所と短所を分析する。たとえば、クラウドソーシングは高コストである一方、事例研究は低コストだが、主観的なユーザーユーティリティの測定には信頼性が低い。
• コスト、スケーラビリティ、人的関与、信頼性といった次元で手法を比較し、100通以上のトップクラスの国際会議論文からのインサイトを活用する。
• 予算、システムの重要度（例：医療 vs. エンジニアリング）、モデル成熟度などの要因に基づいて、手法選定の実用的ガイドラインを提示する。
• 今後の研究方向性として、人間によるラベル付けデータから指標関数を学習する方法や、有効性、説得力などの複数の評価視点をカバーする大規模なベンチマークデータセットの構築を提言する。

実験結果

リサーチクエスチョン

• RQ1 レコメンデーションシステムにおける説明を評価するために用いられる主な評価視点は何か。それぞれの焦点はどのように異なるか？
• RQ2 事例研究、定量的指標、クラウドソーシング、オンライン実験の各評価手法は、信頼性、コスト、適用可能性の観点からどのように比較できるか？
• RQ3 実世界の説明可能レコメンデーションシステムに適用した際、各評価手法の長所と短所は何か？
• RQ4 研究者および実務家は、システムの文脈、予算、ステークホルダーの要件に基づいて、最も適切な評価手法をどのように選定できるか？
• RQ5 説明可能レコメンデーション研究における評価の標準化と堅牢性を向上させるために、どのような今後の方向性が求められるか？

主な発見

• 本サーベイでは、4つの核心的評価視点—説明の有効性、透過性、説得力、検証可能性—を特定し、それぞれに特化した評価戦略を要する。
• クラウドソーシングは人間の認識を直接捉える最も直接的な手法だが、高コストである。一方、事例研究は低コストだが、主観的なユーザーユーティリティの測定には信頼性が低い。
• 定量的指標は再現性があるが、ヒューリスティックに設計された場合、複雑な人間の好みを捉えられない可能性がある。
• オンライン実験は、実際のユーザ行動（例：CTR、コンversion率）を測定するため、高い信頼性を有するが、生産システムに悪影響を及けるリスクがあり、導入コストも高い。
• 単一の評価手法が常に最適であるとは限らない。多くの場合、複数の手法を組み合わせたアプローチが最適である。例として、初期段階のデバッグには事例研究を、最終的検証には定量的指標を用いる。
• 本サーベイは、有効性、説得力などの人間中心の指標をカバーする大規模かつマルチパースペクティブなベンチマークデータセットに、グランドトゥースアノテーションが欠如しているという深刻な研究ギャップを浮き彫りにした。