[논문 리뷰] Learning Post-Hoc Causal Explanations for Recommendation

Shuyuan Xu, Yunqi Li외 4명|arXiv (Cornell University)|2020. 06. 30.

Recommender Systems and Techniques참고 문헌 35인용 수 10

한 줄 요약

이 논문은 순차적 추천 시스템의 블랙박스 성격을 해결하기 위해 원인적 규칙 추출과 반사적 변형을 통해 개인화된 항목 수준의 설명을 생성하는 후행 원인 설명 프레임워크를 제안한다. 이는 추천 정확도를 훼손하지 않으면서도 높은 정밀도의 사용자 맞춤형 설명을 달성하며, 전반적인 연관 규칙보다 개인화 및 효과성 면에서 뛰어나다.

ABSTRACT

State-of-the-art recommender systems have the ability to generate high-quality recommendations, but usually cannot provide intuitive explanations to humans due to the usage of black-box prediction models. The lack of transparency has highlighted the critical importance of improving the explainability of recommender systems. In this paper, we propose to extract causal rules from the user interaction history as post-hoc explanations for the black-box sequential recommendation mechanisms, whilst maintain the predictive accuracy of the recommendation model. Our approach firstly achieves counterfactual examples with the aid of a perturbation model, and then extracts personalized causal relationships for the recommendation model through a causal rule mining algorithm. Experiments are conducted on several state-of-the-art sequential recommendation models and real-world datasets to verify the performance of our model on generating causal explanations. Meanwhile, We evaluate the discovered causal explanations in terms of quality and fidelity, which show that compared with conventional association rules, causal rules can provide personalized and more effective explanations for the behavior of black-box recommendation models.

연구 동기 및 목표

• 최신의 블랙박스 순차적 추천 시스템에서의 투명성 부족 문제를 해결하여 사용자 신뢰와 시스템의 해석 가능성 향상을 도모한다.
• 과거 사용자 상호작용과 향후 추천 간의 원인 관계를 반영한 개인화된 항목 수준의 설명을 생성한다.
• 기반 추천 모델의 예측 성능을 유지하는 후행 설명 프레임워크를 개발한다.
• 모든 사용자 간 공통으로 나타나는 공존 패턴에 의존하는 전역 연관 규칙의 한계를 극복한다. 이는 비개인화된 설명을 초래하기 때문이다.
• 반사적 추론을 가능하게 하기 위해 '만약에' 시나리오를 시뮬레이션하는 변형된 입력-출력 쌍을 생성한다.

제안 방법

• 변동형 변형 모델은 사용자 상호작용 시퀀스를 수정하여 반사적 입력-출력 쌍을 생성함으로써 과거 행동의 변화를 시뮬레이션한다.
• 이 모델은 미분 가능하고 확률적인 메커니즘을 사용하여 다각적이나도 현실적인 사용자 이력 시퀀스의 변형을 생성한다.
• 변형된 쌍에 대해 원인적 규칙 추출을 적용하여 과거 항목(원인)이 추천(영향)에 어떤 영향을 미치는지 식별한다. 이는 예측 변화에 기반한 점수 함수를 사용한다.
• 이 방법은 반사적 논리에 기반한다: 특정 항목을 이력에서 변경했을 때 추천이 변화한다면, 그 항목은 원인 요소로 간주된다.
• 모델의 정밀도와 설명 품질은 원인적 규칙와 실제 블랙박스 추천 모델의 행동 간 일致성 측정을 통해 평가된다.
• 이 프레임워크는 모델 독립적이며, 아키텍처를 수정하지 않고도 어떤 순차적 추천 모델과도 통합 가능하다.

실험 결과

연구 질문

• RQ1 사용자 상호작용 이력에서 후행 원인 설명을 효과적으로 추출하여 블랙박스 순차적 추천을 설명할 수 있는가?
• RQ2 제안된 원인적 설명 프레임워크는 전역 연관 규칙 추출 기법과 비교해 개인화 및 정밀도 면에서 어떻게 다른가?
• RQ3 변형 예제의 수가 추출된 원인적 규칙의 안정성과 정확도에 어떤 영향을 미치는가?
• RQ4 두 사용자가 동일한 추천을 받지만 다른 상호작용 이력을 가진 경우, 이 방법이 개인화된 설명을 생성할 수 있는가?
• RQ5 원인적 설명 프레임워크가 기반 추천 모델의 예측 정확도를 어느 정도 유지하는가?

주요 결과

• 단 한 개의 변형 예제만을 사용할 경우, 제안된 방법은 100%의 모델 정밀도와 100%의 검증된 원인적 규칙 비율을 달성하지만, 높은 분산으로 인해 통계적으로 신뢰할 수 없다.
• 변형 수가 500으로 증가함에 따라, 추정된 확률 오차가 0.1 이하일 가능성이 95% 초과로 증가하여 통계적 신뢰성이 확보된다.
• 충분한 변형 샘플 수(m ≥ 500)가 확보되면, 모델 정밀도와 검증된 원인적 규칙 비율이 안정화되고 증가하여 강건성과 수렴성을 보여준다.
• MovieLens100k 사례 연구에서 전역 연관 규칙는 동일한 추천을 받은 두 사용자에게 동일한 설명(예: 'The Sound of Music')을 제공하지만, 원인적 모델은 개인의 이력에 기반해 다릅니다.
• 원인적 설명 프레임워크는 사용자별로 추천의 원인을 정확히 식별하여 전역 연관 규칙 대비 뛰어난 개인화 성능을 입증한다.
• 이 방법은 원래 추천 모델의 높은 예측 정확도를 유지한다. 왜냐하면 독립적인 후행 설명 모듈로 작동하기 때문이다.