[논문 리뷰] Measuring "Why" in Recommender Systems: a Comprehensive Survey on the Evaluation of Explainable Recommendation

Xu Chen, Yongfeng Zhang외 1명|arXiv (Cornell University)|2022. 02. 14.

Recommender Systems and Techniques인용 수 12

한 줄 요약

이 논문은 설명 가능한 추천 시스템 평가에 대한 종합적인 서베이를 제시하며, 평가 방법을 관점(효율성, 투명성, 설득력, 감시 가능성)과 기술(사례 연구, 정량적 지표, 커뮤니티 기반 평가, 온라인 실험)로 분류한다. 각 방법의 강점과 한계를 체계적으로 비교하고, 적용 맥락과 예산 제약 조건에 기반한 평가 전략 선택을 위한 실용적 지침을 제공한다.

ABSTRACT

Explainable recommendation has shown its great advantages for improving recommendation persuasiveness, user satisfaction, system transparency, among others. A fundamental problem of explainable recommendation is how to evaluate the explanations. In the past few years, various evaluation strategies have been proposed. However, they are scattered in different papers, and there lacks a systematic and detailed comparison between them. To bridge this gap, in this paper, we comprehensively review the previous work, and provide different taxonomies for them according to the evaluation perspectives and evaluation methods. Beyond summarizing the previous work, we also analyze the (dis)advantages of existing evaluation methods and provide a series of guidelines on how to select them. The contents of this survey are based on more than 100 papers from top-tier conferences like IJCAI, AAAI, TheWebConf, Recsys, UMAP, and IUI, and their complete summarization are presented at https://shimo.im/sheets/VKrpYTcwVH6KXgdy/MODOC/. With this survey, we finally aim to provide a clear and comprehensive review on the evaluation of explainable recommendation.

연구 동기 및 목표

• 추천 시스템 내 설명 평가의 체계적 비교 및 표준화 부족 문제를 해결하기 위해.
• 설명 가능한 추천 연구에서 사용되는 주요 평가 관점인 효율성, 투명성, 설득력, 감시 가능성의 식별 및 분류를 위해.
• 사례 연구, 정량적 지표, 커뮤니티 기반 평가, 온라인 실험을 포함한 네 가지 주요 평가 방법의 분석 및 비교를 위해.
• 응용 맥락, 예산, 이해관계자 요구사항에 기반해 적절한 평가 방법을 선택하는 데 실질적인 지침을 제공하기 위해.
• 작업에 종속되지 않는 평가 및 복잡한 이해관계자 기반 유틸리티를 위한 자동화된 지표 학습을 포함한 연구 격차와 향후 방향성의 도출을 위해.

제안 방법

• 설명 가능한 추천에서의 평가 관점에 대한 분류 체계를 제안하며, 설명의 효율성, 투명성, 설득력, 감시 가능성 등을 포함한다.
• 평가 방법을 사례 연구, 정량적 지표, 커뮤니티 기반 평가, 온라인 실험의 네 가지 범주로 분류하며, 각각의 구현 방식과 활용 사례를 명시한다.
• 각 방법의 강점과 한계를 분석하며, 예를 들어 커뮤니티 기반 평가의 높은 비용 대비 사례 연구의 낮은 신뢰도를 고려한다.
• 비용, 확장성, 인간 참여 수준, 신뢰도 등의 차원에서 다양한 평가 방법을 비교하며, 100편 이상의 최상위 학술 회의 논문에서의 통찰을 활용한다.
• 예산, 시스템의 중요성(예: 헬스케어 대비 전자상거래), 모델의 성숙도 등의 요소를 기반으로 평가 방법 선택을 위한 실용적 지침을 제시한다.
• 향후 연구 방향으로 인간 레이블 데이터에서 지표 함수를 학습하는 것과, 효율성, 설득력 등 다양한 평가 관점에 대한 기준(annotation)이 포함된 대규모 벤치마크 데이터셋 구축을 제안한다.

실험 결과

연구 질문

• RQ1 추천 시스템에서 설명을 평가하기 위해 사용되는 주요 평가 관점는 무엇이며, 각각의 초점은 어떻게 다를까?
• RQ2 사례 연구, 정량적 지표, 커뮤니티 기반 평가, 온라인 실험의 각 평가 방법은 신뢰도, 비용, 적용 가능성 측면에서 어떻게 비교될 수 있을까?
• RQ3 실제 설명 가능한 추천 시스템에 적용했을 때 각 평가 방법의 강점과 한계는 무엇일까?
• RQ4 연구자와 실무자는 시스템 맥락, 예산, 이해관계자 요구사항에 기반해 가장 적절한 평가 방법을 어떻게 선택할 수 있을까?
• RQ5 설명 가능한 추천 연구의 표준화 및 강건성 향상을 위해 어떤 향후 방향이 필요할까?

주요 결과

• 서베이에서는 설명의 효율성, 투명성, 설득력, 감시 가능성의 네 가지 핵심 평가 관점로 식별되며, 각각에 맞는 평가 전략이 필요하다.
• 커뮤니티 기반 평가는 인간의 인식을 직접 측정하는 데 가장 효과적이지만 비용이 높으며, 사례 연구는 저비용이지만 주관적인 사용자 유틸리티 측정에 덜 신뢰할 수 있다.
• 정량적 지표는 재현 가능성을 제공하지만, 히وري스틱하게 설계된 경우 복잡한 인간의 선호도를 포착하지 못할 수 있다.
• 온라인 실험은 실 사용자 행동(예: CTR, 전환율)을 측정함으로써 높은 신뢰도를 제공하지만, 생산 시스템에 영향을 줄 수 있으며 구현 비용이 높다.
• 단일 평가 방법이 항상 최적은 아니며, 일반적으로 여러 방법을 조합한 접근이 가장 효과적일 수 있다. 예를 들어 초기 단계의 디버깅에는 사례 연구를, 최종 검증에는 정량적 지표를 활용하는 것이 바람직하다.
• 서베이는 중요한 연구 격차를 드러내며, 효율성, 설득력 등 인간 중심 지표에 대한 기준(annotation)이 포함된 대규모 다각도 벤치마크 데이터셋의 부재를 지적한다.