[논문 리뷰] From Intrinsic to Counterfactual: On the Explainability of Contextualized Recommender Systems

Yao Zhou, Haonan Wang외 2명|arXiv (Cornell University)|2021. 10. 28.

Recommender Systems and Techniques참고 문헌 49인용 수 10

한 줄 요약

이 논문은 심층학습 기반 추천 시스템의 투명성 향상을 위해 맥락적 특징(예: 사용자 리뷰)을 활용하는 설명 가능 추천 시스템의 계층적 접근을 제안한다. 이는 흰색 상자(주의 기반), GRAYBOX(대립적 편향), 블랙박스(역행성 편향) 모델을 포함한다. 역행성 모델(CNR)은 추천 정확도와 설명 가능성 사이에서 가장 균형 잡힌 성능을 보이며, 정량적 지표와 정성적 시각화 모두에서 다른 모델들을 앞선다.

ABSTRACT

With the prevalence of deep learning based embedding approaches, recommender systems have become a proven and indispensable tool in various information filtering applications. However, many of them remain difficult to diagnose what aspects of the deep models' input drive the final ranking decision, thus, they cannot often be understood by human stakeholders. In this paper, we investigate the dilemma between recommendation and explainability, and show that by utilizing the contextual features (e.g., item reviews from users), we can design a series of explainable recommender systems without sacrificing their performance. In particular, we propose three types of explainable recommendation strategies with gradual change of model transparency: whitebox, graybox, and blackbox. Each strategy explains its ranking decisions via different mechanisms: attention weights, adversarial perturbations, and counterfactual perturbations. We apply these explainable models on five real-world data sets under the contextualized setting where users and items have explicit interactions. The empirical results show that our model achieves highly competitive ranking performance, and generates accurate and effective explanations in terms of numerous quantitative metrics and qualitative visualizations.

연구 동기 및 목표

• 심층학습 기반 추천 시스템에서 성능은 향상되고 있으나 투명도는 감소함에 따라 증가하는 설명 가능성 요구에 대응하기 위해.
• 특히 사용자 리뷰와 같은 맥락적 특징이 순위 결정에 대한 인간이 이해할 수 있는 설명을 생성하는 데 어떻게 활용될 수 있는지 조사하기 위해.
• 흰색 상자, GRAYBOX, 블랙박스 등 다양한 수준의 모델 투명도를 가진 세 가지의 설명 가능성 전략을 설계하고 비교하기 위해.
• 정량적 지표와 정성적 시각화를 통해 설명의 효과성을 평가하여 모델 행동이 인간의 직관과 일치하는지 확인하기 위해.
• 실세계 환경에서 추천 성능와 설명 품질 사이를 최적의 균형을 이루는 모델 아키텍처를 특정하기 위해.

제안 방법

• 순위 결정에서 영향력 있는 입력 특징(예: 리뷰 단어)을 명시적으로 강조하는 신경주의 기반 메커니즘을 사용하는 흰색 상자 모델(NAR)을 제안한다.
• 입력 특징에 대립적 편향을 적용하여 모델 출력에 가장 큰 영향을 미치는 요소를 식별하는 GRAYBOX 모델(CAR)을 도입한다. 다만 이러한 편향은 본질적으로 해석 가능하지 않다.
• 입력 특징을 변경하여 순위 변화를 관찰함으로써 후행적이고 인간이 이해할 수 있는 설명을 생성하는 블랙박스 모델(CNR)을 개발한다.
• 모델 간 설명 벡터의 군집화를 비교하기 위해 t-SNE 시각화를 활용하여 인간의 선호도와의 일치성을 평가한다.
• 설명 벡터와 지표(예: 최상위 리뷰 단어) 간 피어슨 상관관계 분석을 통해 설명 품질을 정량적으로 평가한다.
• 모든 모델을 음악, 뷰티, 의류 등 다양한 실세계 데이터셋(예: 음악, 뷰티, 의류)에 적용하며, 명시적 사용자-아이템 상호작용 데이터와 리뷰와 같은 맥락적 특징을 포함한다.

실험 결과

연구 질문

• RQ1 사용자 리뷰와 같은 맥락적 특징이 심층학습 기반 추천 시스템의 정확하고 인간이 이해할 수 있는 설명을 효과적으로 생성하는 데 사용될 수 있는가?
• RQ2 흰색 상자, GRAYBOX, 블랙박스 등 다양한 수준의 모델 투명도가 추천 성능와 설명 품질 사이의 트레이드오프에 어떻게 영향을 미치는가?
• RQ3 주의 기반, 대립적, 역행성 설명 방법이 리뷰 내용에서 유도된 지표 사용자 선호도와 어느 정도 상관관계를 가지는가?
• RQ4 어느 설명 전략이 다양한 실세계 추천 시나리오에서 가장 신뢰성 있고 일관성 있는 설명을 제공하는가?
• RQ5 역행성 설명을 사용하는 블랙박스 모델이 높은 성능을 달성하면서도 강력한 해석 가능성을 유지할 수 있는가?

주요 결과

• 역행성 모델(CNR)은 추천 성능와 설명 품질 사이에서 가장 균형 잡힌 성능을 보이며, 정량적 평가와 정성적 시각화 모두에서 주의 기반(NAR) 및 대립적(CAR) 모델을 앞선다.
• NAR와 CNR는 지표 설명(사용자 리뷰 단어 기반)과 강한 상관관계를 보이며, 반면 CAR는 약한 상관관계를 보여 인간이 이해할 수 있는 특징와의 일치성이 떨어진다.
• t-SNE 시각화 결과, CNR 설명 벡터가 지표 사용자 군집과 가장 가까이 뭉쳐져 있으며, 그 다음 NAR, CAR의 설명은 가장 산산이 흩어져 있다.
• 모든 모델의 상위 5개 설명 단어는 지표와 크게 다를 수 있으나, k값을 증가시킬수록(예: 상위 10개 또는 상위 20개) 지표 특징과의 겹침이 증가하여 일관성이 향상됨을 보여준다.
• 대립적 모델(CAR)은 높은 추천 성능를 달성하지만, 대립적 편향이 의미론적으로 일관성 없거나 사용자 선호도와 일치하지 않아 유의미한 설명을 생성하지 못한다.
• CNR 모델은 후행적 설명 방법으로 효과적이며, 기존의 순위 결정 아키텍처에 적용 가능하므로 실무에서 널리 적용 가능하다.