[논문 리뷰] GREASE: Generate Factual and Counterfactual Explanations for GNN-based Recommendations

Ziheng Chen, Fabrizio Silvestri외 5명|arXiv (Cornell University)|2022. 08. 04.

Advanced Graph Neural Networks인용 수 11

한 줄 요약

GREASE는 대상 사용자-아이템 쌍의 국소 $l$-호프 이웃 그래프를 변형하여 사실적이고 반대 조건적 설명을 생성하는 새로운 블랙박스 설명 방법이다. 이는 실세계 데이터셋에서 추천에 필요한 충분조건과 필수조건을 충분히 반영한 간결하고 사용자가 이해할 수 있는 설명을 생성하며, 유사한 기준들에 비해 뛰어난 신뢰성과 커버리지 성능을 보여준다.

ABSTRACT

Recently, graph neural networks (GNNs) have been widely used to develop successful recommender systems. Although powerful, it is very difficult for a GNN-based recommender system to attach tangible explanations of why a specific item ends up in the list of suggestions for a given user. Indeed, explaining GNN-based recommendations is unique, and existing GNN explanation methods are inappropriate for two reasons. First, traditional GNN explanation methods are designed for node, edge, or graph classification tasks rather than ranking, as in recommender systems. Second, standard machine learning explanations are usually intended to support skilled decision-makers. Instead, recommendations are designed for any end-user, and thus their explanations should be provided in user-understandable ways. In this work, we propose GREASE, a novel method for explaining the suggestions provided by any black-box GNN-based recommender system. Specifically, GREASE first trains a surrogate model on a target user-item pair and its $l$-hop neighborhood. Then, it generates both factual and counterfactual explanations by finding optimal adjacency matrix perturbations to capture the sufficient and necessary conditions for an item to be recommended, respectively. Experimental results conducted on real-world datasets demonstrate that GREASE can generate concise and effective explanations for popular GNN-based recommender models.

연구 동기 및 목표

• GNN 기반 추천 시스템에서 일반 사용자에게 이해하기 쉬운 설명이 부족한 문제를 해결하기 위해, 전문가 중심의 의사결정을 위한 설계가 아닌 일반 사용자를 고려한 설명 방법 개발.
• 기존 GNN 설명 방법의 한계를 극복하기 위해, 주로 노드/그래프 분류 작업에 맞춰진 기존 방법들이 추천 시스템에서 흔한 순위 매기기 작업에 적합하지 않다는 점을 고려.
• 비전문가 사용자에게 이해 가능한 방식으로 사실적(충분조건) 및 반대 조건적(필수조건) 설명을 동시에 생성할 수 있는 방법 개발.
• 모델의 내부 아키텍처나 파라미터에 접근할 필요 없이 예측된 점수만을 이용하는 블랙박스 환경에서 작동.
• 실세계 데이터셋과 인기 있는 GNN 기반 추천 모델을 대상으로, 신뢰성 지표인 PN, PS, EC를 활용해 설명의 효과성 평가.

제안 방법

• GREASE는 대상 사용자-아이템 쌍의 $l$-호프 이웃 그래프에 대해 서피스 모델을 학습하여 GNN의 국소적 행동을 근사한다.
• 핵심 상호작용을 식별하기 위해 인접 행렬 변형에 기반한 최적화 문제로 설명 생성 작업을 정식화한다.
• 사실적 설명을 위해, 아이템이 여전히 추천되는 데 충분한 최소 상호작용 집합을 찾는다.
• 반대 조건적 설명을 위해, 해당 상호작용 집합을 제거하면 아이템이 더 이상 추천되지 않는 필수 조건을 식별한다.
• 변형 탐색을 위한 기울기 기반 최적화를 가능하게 하기 위해 인접 행렬의 미분 가능 근사화를 사용한다.
• 사후 생성 방식으로, 최종 사용자에게 간결하고 의미적으로 유의미한 설명을 제공하도록 설계된다.

실험 결과

연구 질문

• RQ1 블랙박스 설명 방법이 GNN 기반 추천 시스템의 행동에 충실한 사실적 및 반대 조건적 설명을 동시에 생성할 수 있는가?
• RQ2 생성된 설명이 아이템이 추천되는 데 필요한 충분조건과 필수조건을 얼마나 잘 반영하는가?
• RQ3 GREASE는 전문가를 위한 기술적 설명이 아닌, 최종 사용자에게 이해하기 쉬운 간결한 설명을 생성할 수 있는가?
• RQ4 신뢰성 및 커버리지 측면에서 PersonalRank 및 무작위 샘플링과 같은 기준 방법에 비해 GREASE는 어떻게 성능을 내는가?
• RQ5 GREASE의 성능은 다양한 GNN 기반 추천 모델과 실세계 데이터셋 간에 일반화되는가?

주요 결과

• GREASE는 모든 데이터셋과 추천 top-k 설정에서 최고의 PN(이웃 정밀도) 및 PS(지지 정밀도) 점수를 기록하여, 관련 상호작용을 식별하는 데서 뛰어난 신뢰성을 입증했다.
• LastFM 데이터셋에서 top-10 추천 설정에서 GREASE는 PN 0.87 (±6.00) 및 PS 0.66 (±5.00)을 기록하여 PersonalRank 및 Random 기준보다 유의미하게 뛰어난 성능을 보였다.
• Yelp 데이터셋에서 top-15 추천 설정에서 GREASE는 PN 0.85 (±7.00) 및 PS 0.68 (±9.00)을 기록하여 다양한 추천 목록 길이에서도 일관된 성능을 보였다.
• EC(설명 커버리지) 지표는 GREASE가 더 간결한 설명을 생성했음을 시사했으며, LastFM의 경우 top-15에서 3.76 (±0.51), Yelp의 경우 6.30 (±0.87)의 값을 기록하여 적은 상호작용 수로도 뛰어난 커버리지 성능을 보였다.
• 모든 설정에서 GREASE는 PN, PS, EC 등 모든 평가 지표에서 PersonalRank 및 Random 기준보다 뚜렷이 뛰어난 성능을 보였으며, 고품질 설명 생성의 효과성을 확인했다.
• 제거 실험을 통해 사실적 및 반대 조건적 설명을 동시에 최적화하는 것이 단일 유형의 설명 생성보다 종합적인 설명 품질 향상에 기여한다는 점을 확인했다.