[논문 리뷰] Explaining Latent Factor Models for Recommendation with Influence Functions

Weiyu Cheng, Yanyan Shen외 2명|arXiv (Cornell University)|2018. 11. 20.

Recommender Systems and Techniques참고 문헌 34인용 수 4

한 줄 요약

이 논문은 매트릭스 파생 및 신경 협동 필터링과 같은 잠재 요인 모델(LFMs)이 보조 데이터 없이도 이웃 스타일의 설명을 생성할 수 있도록 하는 빠른 影향 분석(FIA) 방법을 제안한다. 강력한 통계에서 유래한 영향 함수를 활용하여 FIA는 모델 예측을 형성하는 데 가장 영향을 미치는 학습 평점들을 식별하며, 기준 방법 대비 최대 2,411배의 속도 향상을 이룩하면서도 이해하기 쉬운 사용자 友好的 설명을 제공한다.

ABSTRACT

Latent factor models (LFMs) such as matrix factorization achieve the state-of-the-art performance among various Collaborative Filtering (CF) approaches for recommendation. Despite the high recommendation accuracy of LFMs, a critical issue to be resolved is the lack of explainability. Extensive efforts have been made in the literature to incorporate explainability into LFMs. However, they either rely on auxiliary information which may not be available in practice, or fail to provide easy-to-understand explanations. In this paper, we propose a fast influence analysis method named FIA, which successfully enforces explicit neighbor-style explanations to LFMs with the technique of influence functions stemmed from robust statistics. We first describe how to employ influence functions to LFMs to deliver neighbor-style explanations. Then we develop a novel influence computation algorithm for matrix factorization with high efficiency. We further extend it to the more general neural collaborative filtering and introduce an approximation algorithm to accelerate influence analysis over neural network models. Experimental results on real datasets demonstrate the correctness, efficiency and usefulness of our proposed method.

연구 동기 및 목표

• 최신의 잠재 요인 모델(LFM)인 매트릭스 파생 및 신경 협동 필터링에서 설명 가능성의 부족을 해결하기 위해.
• 사용자 리뷰나 항목 특성과 같은 보조 정보에 의존하지 않는 일반적인 설명 방법을 개발하기 위해.
• 사용자나 항목의 역사에서 가장 영향력 있는 학습 평점들을 식별하여, 예를 들어 '이 항목은 당신이 이전에 좋아했던 것들과 유사합니다'와 같은 이웃 스타일의 설명을 LFMs에 제공하기 위해.
• 실세계 추천 시스템에 적합한 고스케일성과 높은 확장성을 확보할 수 있는 효율적인 영향 계산 알고리즘을 설계하기 위해.

제안 방법

• FIA는 특정 테스트 사용자-항목 쌍에 대한 모델 예측에 영향을 미치는 각 학습 평점(사용자, 항목, 평점)의 정도를 영향 함수를 통해 정량화한다.
• 매트릭스 파생의 경우, FIA는 손실 함수의 헤시안을 사용하여 영향 점수의 닫힌 형식 근사치를 유도함으로써 반복적 재학습 없이도 효율적인 계산을 가능하게 한다.
• 신경 협동 필터링(NCF)의 경우, FIA는 영향 점수를 효율적으로 추정하기 위해 확률적 근사 방법을 활용하여 계산 비용을 감소시키면서도 정확도를 유지한다.
• 이 방법은 사용자의 이력 또는 항목의 평점 이력에서 상위-k개의 가장 영향력 있는 학습 평점들을 식별하여 항목 기반 또는 사용자 기반 설명을 생성한다.
• 영향 점수는 학습 예제를 제거했을 때 모델 예측의 변화에 대한 기울기로 계산되며, 이는 예측 영향의 정확한 기여도를 기반으로 한다.
• 이 방법은 모델 아키텍처와 수직이므로, MF 및 NCF와 같은 다양한 LFM 변종에 아키텍처 수정 없이 적용 가능하다.

실험 결과

연구 질문

• RQ1 영향 함수가 추천 시스템의 잠재 요인 모델에 대해 이웃 스타일의 설명을 효과적으로 생성하는 데 사용될 수 있는가?
• RQ2 대규모 추천 시스템에 실시간으로 구현 가능한 수준으로 영향 분석을 어떻게 효율화할 수 있는가?
• RQ3 FIA는 리뷰나 항목 특성과 같은 보조 데이터 없이도 정확하고 직관적인 설명을 제공할 수 있는가?
• RQ4 학습 예제의 영향 분포가 모델 예측에 어떻게 영향을 미치며, 이는 모델 행동에 대한 어떤 통찰을 제공하는가?

주요 결과

• 매트릭스 파생에서 FIA는 기준 영향 계산(IA) 대비 최대 2,411배의 속도 향상을 기록하였으며, 잠재 요인 차원에 관계없이 실행 시간이 5초 이내로 유지된다.
• 신경 협동 필터링에서는 FIA가 IA 대비 1,752배의 속도 향상을 달성하여 딥 러닝 기반 추천 시스템의 강력한 확장성을 입증한다.
• 영향 점수는 매우 집중되어 있다: 영향력 있는 평점의 비율은 매우 낮으며(예: 상위 6개), 이는 희박한 영향 패턴을 의미한다.
• 항목 기반 설명에서 상위 영향력 있는 평점들은 의미적으로 일관된 편이다. 예를 들어, 『라이온 킹 (1994)』의 경우 가장 영향력 있는 항목들은 모두 애니메이션 코미디 장르에 속하여 직관적인 관련성을 확인한다.
• 영향 값의 분포는 0 근처에 집중되어 있으며, 대부분의 평점은 영향이 거의 없어, 예측을 이끄는 데 영향을 미치는 평점은 소수에 국한됨을 시사한다.
• FIA는 '이 영화에 대한 귀하의 평점은 이전에 이와 유사한 항목들을 높게 평가했기 때문에 예측됩니다'와 같은 인간이 읽기 쉬운 이웃 스타일의 설명을 성공적으로 생성하였다.