[論文レビュー] Bias in Knowledge Graphs - An Empirical Study with Movie Recommendation and Different Language Editions of DBpedia

Michael Voit, Heiko Paulheim|arXiv (Cornell University)|Jan 1, 2021

Recommender Systems and Techniques参考文献 54被引用数 3

ひとこと要約

本論文は、知識グラフとしてのDBpediaの異なる言語版が、映画推薦システムのパフォーマンスおよびバイアスに与える影響を調査する。複数のDBpedia版で固定されたRDF2vecベースの推薦戦略を用いることで、ジャンルおよび国別に顕著なバイアスが生じ、パフォーマンスはジャンルや知識グラフのソースによって顕著に異なることが明らかになった。これは、知識グラフ選定がアルゴリズムチューニングと同等に重要であることを示している。

ABSTRACT

Public knowledge graphs such as DBpedia and Wikidata have been recognized as interesting sources of background knowledge to build content-based recommender systems. They can be used to add information about the items to be recommended and links between those. While quite a few approaches for exploiting knowledge graphs have been proposed, most of them aim at optimizing the recommendation strategy while using a fixed knowledge graph. In this paper, we take a different approach, i.e., we fix the recommendation strategy and observe changes when using different underlying knowledge graphs. Particularly, we use different language editions of DBpedia. We show that the usage of different knowledge graphs does not only lead to differently biased recommender systems, but also to recommender systems that differ in performance for particular fields of recommendations.

研究の動機と目的

• DBpediaの異なる言語版が、コンテンツベースの映画推薦システムにおけるバイアスとパフォーマンスに与える影響を調査すること。
• アルゴリズム設計そのものではなく、知識グラフの選定が推薦結果をどのように形作るかを特定すること。
• 特定の推薦タスクやジャンルに適した知識グラフが存在するかどうかを分析すること。
• 一般的に推薦システム研究において単一の知識グラフ（例：英語版DBpedia）を固定するという慣習に挑戦すること。

提案手法

• 知識グラフの影響を分離するために、RDF2vec埋め込みを用いた固定された1つの推薦戦略を採用した。
• 英語、ドイツ語、フランス語、イタリア語、ロシア語の5つの言語版DBpedia（それぞれ対応するWikipedia版から抽出）を用いた。
• MovieLens 1Mデータセットの映画を、各DBpedia版のエンティティにマッピングすることで、多言語間比較を可能にした。
• F1スコアおよびジャンル別パフォーマンス指標を用いて、各知識グラフ上で1つの推薦システムを訓練および評価した。
• データセット内での出現頻度と比較して、推薦結果のジャンルおよび製作国分布を分析することでバイアスを評価した。
• PCA可視化を用いて、知識グラフごとの埋め込み空間のクラスタリングおよび構造的差異を検証した。

実験結果

リサーチクエスチョン

• RQ1 特定のDBpedia言語版の選定が、映画推薦結果のバイアスにどのように影響するか？
• RQ2 異なる知識グラフを用いた場合、特定のジャンルにおける推薦パフォーマンスに差が生じるか？
• RQ3 異なるWikipedia版から抽出された知識グラフは、映画推薦における文化的または言語的バイアスをどの程度反映しているか？
• RQ4 グローバルに最適な知識グラフは存在するのか、それともパフォーマンスはジャンルやターゲットオーディエンスによって顕著に異なるのか？

主な発見

• ロシア語DBpediaに基づく推薦システムは、ロシアにおけるジャンル人気トレンドと一致して、アクション、サイエンスフィクション、アドベンチャー系ジャンルに強くバイアスがかかる傾向を示した。
• イタリア語DBpediaに基づくシステムは、コメディ、スリラー、ロマンス系映画の推薦傾向が高く、イタリアにおけるジャンル嗜好を反映していた。
• ジャンル別にパフォーマンスに顕著な差が認められた：子供向け映画では、最高パフォーマンスを示したフランス語DBpediaベースのシステム（F1 = 0.209）に対し、最悪はロシア語DBpedia（F1 = 0.064）で、3倍以上も低いスコアを記録した。
• フランス語DBpediaに基づくシステムは、評価された10ジャンルの半数以上で他を上回り、多様な推薦に最も包括的な背景知識を提供していることが示された。
• ロシア語DBpediaに基づくシステムは、全体のパフォーマンスが最低であったが、犯罪映画（F1 = 0.121）では最高の性能を示し、タスク特化型の強みを示した。
• すべてのジャンルに最適な単一の知識グラフは存在せず、効果的な推薦システム構築において知識グラフ選定がアルゴリズム選定と同等に重要であることが実証された。