[論文レビュー] GREASE: Generate Factual and Counterfactual Explanations for GNN-based Recommendations

Ziheng Chen, Fabrizio Silvestri+5 more|arXiv (Cornell University)|Aug 4, 2022

Advanced Graph Neural Networks被引用数 11

ひとこと要約

GREASE は、ターゲットのユーザ・アイテムペアの局所的 $l$-ホップ近傍グラフを摂動することで、事実的および反事実的説明を生成する、GNNベースのレコメンデーションシステム向けの新規ブラックボックス説明手法である。実世界のデータセットにおいて、十分かつ必須の条件を捉えた、簡潔でユーザが理解可能な説明を生成する点でベースラインを上回り、忠実性とカバレッジの両面で優れた性能を示している。

ABSTRACT

Recently, graph neural networks (GNNs) have been widely used to develop successful recommender systems. Although powerful, it is very difficult for a GNN-based recommender system to attach tangible explanations of why a specific item ends up in the list of suggestions for a given user. Indeed, explaining GNN-based recommendations is unique, and existing GNN explanation methods are inappropriate for two reasons. First, traditional GNN explanation methods are designed for node, edge, or graph classification tasks rather than ranking, as in recommender systems. Second, standard machine learning explanations are usually intended to support skilled decision-makers. Instead, recommendations are designed for any end-user, and thus their explanations should be provided in user-understandable ways. In this work, we propose GREASE, a novel method for explaining the suggestions provided by any black-box GNN-based recommender system. Specifically, GREASE first trains a surrogate model on a target user-item pair and its $l$-hop neighborhood. Then, it generates both factual and counterfactual explanations by finding optimal adjacency matrix perturbations to capture the sufficient and necessary conditions for an item to be recommended, respectively. Experimental results conducted on real-world datasets demonstrate that GREASE can generate concise and effective explanations for popular GNN-based recommender models.

研究の動機と目的

• GNNベースのレコメンデーションシステムにおいて、一般のエンドユーザーではなく専門家の意思決定を想定して設計される傾向にあるため、ユーザが理解可能な説明の欠如に対処すること。
• ノード／グラフ分類を主な目的として設計された従来のGNN説明手法には、レコメンデーションシステムで一般的な順位付けタスクに不適切であるという制限があるため、それを克服すること。
• 非エキスパートのユーザにとって解釈可能な方法で、事実的（十分条件）および反事実的（必須条件）の両方の説明を生成する手法を開発すること。
• モデルの内部構造やパラメータを必要とせず、予測スコアのみにアクセス可能なブラックボックス設定で動作すること。
• 実世界のデータセットと一般的なGNNベースのレコメンダーモデルを用いて、忠実性指標（PN、PS、EC）を用いて説明の有効性を評価すること。

提案手法

• GREASE は、ターゲットのユーザ・アイテムペアの $l$-ホップ近傍グラフ上でサーヴィェイリングモデルを学習し、GNNの局所的挙動を近似する。
• 説明生成タスクを、隣接行列の摂動に関する最適化問題として定式化し、重要な相互作用を同定する。
• 事実的説明では、アイテムが推薦される状態を維持する最小限の相互作用（十分条件）を同定する。
• 反事実的説明では、アイテムがもはや推薦されなくなるようにする相互作用（必須条件）の集合を特定する。
• 摂動探索のための勾配ベース最適化を可能にするために、隣接行列の微分可能リラクゼーションを用いる。
• 説明は事後的に生成され、エンドユーザーにとって簡潔で意味的な意味を持つように設計されている。

実験結果

リサーチクエスチョン

• RQ1 ブラックボックス説明手法は、GNNベースのレコメンダーシステムの挙動に忠実な、事実的および反事実的説明を生成できるか？
• RQ2 生成された説明は、アイテムが推薦されるための十分条件と必須条件をどれほど的確に捉えているか？
• RQ3 GREASE は、エキスパート向けの技術的説明ではなく、エンドユーザーにとって簡潔で理解可能な説明を生成できるか？
• RQ4 忠実性とカバレッジの観点から、PersonalRank やランダムサンプリングといったベースライン手法と比較して、GREASE はどの程度優れているか？
• RQ5 GREASE の性能は、異なるGNNベースのレコメンダーモデルおよび実世界のデータセットに一般化できるか？

主な発見

• GREASE は、すべてのデータセットおよび推薦トップ-k設定において、最高の PN（近傍の精度）および PS（サポートの精度）スコアを達成し、関連する相互作用を特定する点で優れた忠実性を示した。
• LastFM データセット（トップ10推薦）では、PN が 0.87（±6.00）、PS が 0.66（±5.00）を達成し、PersonalRank および Random ベースラインを顕著に上回った。
• Yelp データセット（トップ15推薦）では、PN が 0.85（±7.00）、PS が 0.68（±9.00）を達成し、異なる推薦リスト長でも一貫した性能を示した。
• EC（説明カバレッジ）指標では、GREASE がより簡潔な説明を生成しており、LastFM ではトップ15で 3.76（±0.51）、Yelp では 6.30（±0.87）の値を示し、少ない相互作用でより良いカバレッジを達成した。
• すべての設定において、GREASE は PN、PS、EC すべての評価指標で、PersonalRank および Random ベースラインを一貫して上回り、高品質な説明を生成する有効性を確認した。
• アブレーションスタディの結果、事実的および反事実的説明の両方を同時に最適化することで、単一タイプの説明生成に比べて全体的な説明品質が向上することが確認された。