[논문 리뷰] PRINCE: Provider-side Interpretability with Counterfactual Explanations in Recommender Systems

Azin Ghazimatin, Oana Balalau외 2명|MPG.PuRe (Max Planck Society)|2019. 11. 19.

Topic Modeling인용 수 13

한 줄 요약

PRINCE는 추천 시스템의 제공자 측 해석 가능성 프레임워크를 제안하며, 역설적 증거를 사용해 간결하고 실행 가능한 설명을 생성한다. 이는 사용자의 행동(예: 구매, 평가) 중 최소한의 조합을 제거했을 때 상위 추천이 바뀌는지를 분석하는 데에 효율적인 다항 시간 알고리즘을 사용하여, 동적 이질적 정보 네트워크(HIN) 기반 개인화 페이지랭크(PPR) 스코어링을 통해 최적이고 프라이버시를 보호하는 설명을 실세계의 Amazon 및 Goodreads 데이터셋에서 달성한다.

ABSTRACT

Interpretable explanations for recommender systems and other machine learning models are crucial to gain user trust. Prior works that have focused on paths connecting users and items in a heterogeneous network have several limitations, such as discovering relationships rather than true explanations, or disregarding other users' privacy. In this work, we take a fresh perspective, and present PRINCE: a provider-side mechanism to produce tangible explanations for end-users, where an explanation is defined to be a set of minimal actions performed by the user that, if removed, changes the recommendation to a different item. Given a recommendation, PRINCE uses a polynomial-time optimal algorithm for finding this minimal set of a user's actions from an exponential search space, based on random walks over dynamic graphs. Experiments on two real-world datasets show that PRINCE provides more compact explanations than intuitive baselines, and insights from a crowdsourced user-study demonstrate the viability of such action-based explanations. We thus posit that PRINCE produces scrutable, actionable, and concise explanations, owing to its use of counterfactual evidence, a user's own actions, and minimal sets, respectively.

연구 동기 및 목표

• 추천 시스템에서 실행 가능한, 프라이버시를 보호하며 제공자에 의해 제어되는 설명의 부족을 해결하기 위해.
• 다른 사용자의 비공개 행동을 폭 드러내거나 후행적 합리화에 그치는 경로 기반 설명의 한계를 극복하기 위해.
• 사용자의 자신의 행동에 기반한 최소한의 역설적 설명을 생성하여 명확성과 신뢰성을 확보하기 위해.
• 사용자 행동의 지수적 탐색 공간에도 불구하고, 추천에 책임이 있는 최소한의 행동 집합을 최적화하여 계산하는 효율적인 알고리즘을 개발하기 위해.
• 실세계 데이터셋에서의 사용자 연구 및 실증 평가를 통해 행동 기반 설명의 유용성과 이해 가능성 검증하기 위해.

제안 방법

• 사용자, 아이템, 리뷰, 카테고리 노드와 구매, 평가, 카테고리 연결 등의 동작을 나타내는 간선을 포함하는 이질적 정보 네트워크(HIN)로 사용자-아이템 상호작용을 모델링한다.
• 사용자 선호도와 아이템의 관련성을 모델링하기 위해 랜덤 워크를 활용하는 HIN 기반 개인화 페이지랭크(PPR)를 사용해 추천 스코어를 계산한다.
• 역설적 설정을 적용: 상위 추천이 다른 아이템으로 바뀌는 데에 영향을 주는 사용자 행동(간선)의 최소 부분집합을 식별한다.
• PPR 스코어의 단조성 및 하위모듈라 성질을 활용해 지수적 가능한 행동 부분집합 공간을 탐색하는 다항 시간 최적 알고리즘을 적용한다.
• 간선 제거를 시뮬레이션하고 PPR 스코어를 효율적으로 재계산하기 위해 동적 그래프 업데이트를 활용하여, 역설적 설명의 스케일러블한 계산을 가능하게 한다.
• PPR 민감도 기반의 프루닝 전략을 통합해 후보 행동 집합의 우선순위를 정렬함으로써, 최적성 손실 없이 계산 오버헤드를 줄인다.

실험 결과

연구 질문

• RQ1 제공자 측 메커니즘이 HIN 기반 추천 시스템에서 최소한의 실행 가능하고 프라이버시를 보호하는 설명을 생성할 수 있는가?
• RQ2 상위 추천을 변화시킬 수 있는 최소한의 사용자 행동 집합이 직관적 히어리스틱 기반 보다 어떤 정도 더 컴act하고 충실한가?
• RQ3 행동 기반의 역설적 설명이 경로 기반 또는 규칙 기반 설명보다 사용자에게 더 유용하고 이해하기 쉬운가?
• RQ4 사용자 행동의 지수적 탐색 공간에도 불구하고, 그러한 최소 행동 집합을 계산하는 효율적이고 최적의 알고리즘을 설계할 수 있는가?
• RQ5 실세계 환경에서 PRINCE가 생성한 설명은 기준 기반 설명과 비교해 사용자 인식과 설명 품질 측면에서 어떤가?

주요 결과

• PRINCE는 직관적 히어리스틱 기반 기준보다 훨씬 더 간결한 설명을 생성하며, 상위 추천을 변화시키기 위해 필요한 최소한의 사용자 행동 집합을 제공한다.
• 이 방법은 추천을 변화시키는 최소한의 행동 집합을 찾는 데 최적성을 보장하며, 진정한 최소 집합을 식별하지 못하는 히어리스틱 접근 방식보다 뛰어나다.
• AMT 마스터를 대상으로 한 커스터마이징된 사용자 연구에서 PRINCE가 생성한 설명은 기준 기반 설명보다 더 유용하고 명확하며 실행 가능성이 높다고 평가되었다.
• PRINCE가 생성한 설명은 이해 가능(scrutable), 실행 가능(actionable), 간결(최소 집합)하여 효과적인 해석 가능성의 핵심 기준을 충족시킨다.
• 이 알고리즘은 다항 시간 내에 역설적 설명을 효율적으로 계산하여, Amazon 및 Goodreads와 같은 대규모 실세계 HIN에 대해 확장 가능한 성능을 보인다.
• 경로 기반 설명에서 유래하는 프라이버시 유출을 방지하기 위해, 이 방법은 다른 사용자의 행동을 폭 드러내지 않고 오직 사용자의 자신의 행동에만 기반한다.