[논문 리뷰] Bias in Knowledge Graphs - An Empirical Study with Movie Recommendation and Different Language Editions of DBpedia

Michael Voit, Heiko Paulheim|arXiv (Cornell University)|2021. 01. 01.

Recommender Systems and Techniques참고 문헌 54인용 수 3

한 줄 요약

이 논문은 영화 추천 시스템에서 지식 그래프 선택, 특히 DBpedia의 다양한 언어 편의 영향을 추천 성능과 편향 측면에서 조사한다. 여러 DBpedia 편의에서 동일한 RDF2vec 기반 추천 전략을 사용함으로써, 장르 및 국가별로 뚜렷한 편향이 존재하고, 성능은 장르와 지식 그래프 소스에 따라 크게 달라짐을 확인하였다. 이는 알고리즘 튜닝과 동일한 수준으로 지식 그래프 선택이 중요하다는 것을 보여준다.

ABSTRACT

Public knowledge graphs such as DBpedia and Wikidata have been recognized as interesting sources of background knowledge to build content-based recommender systems. They can be used to add information about the items to be recommended and links between those. While quite a few approaches for exploiting knowledge graphs have been proposed, most of them aim at optimizing the recommendation strategy while using a fixed knowledge graph. In this paper, we take a different approach, i.e., we fix the recommendation strategy and observe changes when using different underlying knowledge graphs. Particularly, we use different language editions of DBpedia. We show that the usage of different knowledge graphs does not only lead to differently biased recommender systems, but also to recommender systems that differ in performance for particular fields of recommendations.

연구 동기 및 목표

• 다양한 언어 편의 DBpedia가 콘텐츠 기반 영화 추천 시스템의 편향과 성능에 미치는 영향을 조사하는 것.
• 알고리즘 설계 외에 지식 그래프 선택이 추천 결과에 영향을 미치는지 확인하는 것.
• 특정 추천 작업이나 장르에 더 적합한 지식 그래프가 존재하는지 분석하는 것.
• 일반적으로 추천 시스템 연구에서 단일 지식 그래프(예: 영문 DBpedia)를 고정하는 관행에 도전하는 것.

제안 방법

• 지식 그래프의 영향을 분리하기 위해 RDF2vec 임베딩을 사용하는 동일한 추천 전략을 고정하였다.
• 영문, 독어, 불어, 이탈리아어, 러시아어 등 다섯 가지 언어 편의 DBpedia를 사용하였으며, 각각 해당 위키백과 편에서 유도되었다.
• MovieLens 1M 데이터셋의 영화를 각 DBpedia 편의 엔티티에 매핑하여 다국어 간 비교를 가능하게 하였다.
• 각 지식 그래프에서 단일 추천 시스템을 훈련 및 평가하였으며, F1 점수와 장르별 성능 지표를 사용하였다.
• 데이터셋의 퍼세널리티와 비교하여 추천의 장르 및 제작 국가 분포를 분석하여 편향을 분석하였다.
• PCA 시각화를 통해 지식 그래프 간 임베딩 공간의 군집화 및 구조적 차이를 분석하였다.

실험 결과

연구 질문

• RQ1 특정 DBpedia 언어 편의 선택이 영화 추천 결과의 편향에 어떤 영향을 미치는가?
• RQ2 다른 지식 그래프를 사용할 경우 특정 장르의 추천 성능에 차이가 있는가?
• RQ3 다른 위키백과 편에서 유도된 지식 그래프가 영화 추천에서 문화적 또는 언어적 편향을 얼마나 반영하는가?
• RQ4 글로벌 최적의 지식 그래프가 존재하는가, 아니면 성능이 장르 및 대상 청중에 따라 크게 달라지는가?

주요 결과

• 러시아어 DBpedia 기반 추천 시스템은 액션, 과학소설, 어드벤처 장르에 강한 편향을 보였으며, 러시아에서의 장르 인기도 경향과 일치하였다.
• 이탈리아어 DBpedia 기반 시스템은 코미디, 스릴러, 러브 영화의 추천 경향이 높아 이탈리아의 장르 선호도를 반영하였다.
• 장르에 따라 성능이 크게 달라졌다: 어린이 영화의 경우 가장 높은 성능을 보인 프랑스어 DBpedia 기반 시스템은 F1 점수 0.209를 기록했고, 가장 낮은 성능을 보인 러시아어 기반 시스템은 0.064를 기록하여 3배 이상 낮았다.
• 프랑스어 DBpedia 기반 시스템은 평가한 10개 장르의 절반에서 가장 뛰어난 성능을 보였으며, 이는 다양한 추천에 대해 가장 포괄적인 배경 지식을 제공한다는 것을 시사한다.
• 러시아어 DBpedia 기반 시스템은 전체 성능이 가장 낮았음에도 불구하고, 죄수 장르에서 가장 높은 성능(F1 = 0.121)을 보였으며, 이는 과제별로 강점을 지닌다는 것을 보여준다.
• 모든 장르에서 최적의 지식 그래프가 존재하지 않았으며, 이는 효과적인 추천 시스템을 구축하기 위해 알고리즘 선택과 동일한 중요도로 지식 그래프 선택이 필수적임을 입증한다.