[論文レビュー] Algorithms are not neutral: Bias in collaborative filtering

Catherine Stinson|arXiv (Cornell University)|May 3, 2021

Mobile Crowdsensing and Crowdsourcing参考文献 16被引用数 8

ひとこと要約

この論文は、偏りのないデータや開発者でさえも、協調フィルタリングアルゴリズムが人気の傾向や均質化効果を通じて根本的にバイアスを導入することを示している。アルゴリズム設計そのものが、特にユーザーのフィードバックからの反復的学習によって、選択バイアスを生み出し、代表されないグループを不当に扱うようになる。これは、推薦システムにおけるアルゴリズムの中立性という神話に疑問を呈するものである。

ABSTRACT

Discussions of algorithmic bias tend to focus on examples where either the data or the people building the algorithms are biased. This gives the impression that clean data and good intentions could eliminate bias. The neutrality of the algorithms themselves is defended by prominent Artificial Intelligence researchers. However, algorithms are not neutral. In addition to biased data and biased algorithm makers, AI algorithms themselves can be biased. This is illustrated with the example of collaborative filtering, which is known to suffer from popularity, and homogenizing biases. Iterative information filtering algorithms in general create a selection bias in the course of learning from user responses to documents that the algorithm recommended. These are not merely biases in the statistical sense; these statistical biases can cause discriminatory outcomes. Data points on the margins of distributions of human data tend to correspond to marginalized people. Popularity and homogenizing biases have the effect of further marginalizing the already marginal. This source of bias warrants serious attention given the ubiquity of algorithmic decision-making.

研究の動機と目的

• アルゴリズムが中立的であるという広く信じられている信念に挑戦すること、特に協調フィルタリングシステムにおいて。
• データや開発者の意図とは独立して、アルゴリズムのメカニズム自体がどのようにバイアスを導入するかを特定・分析すること。
• 推薦システムにおける反復的学習が、差別的な影響を受ける可能性の高いマイノリティ集団に特に顕著な選択バイアスを強化することを示すこと。
• 協調フィルタリングにおける人気バイアスや均質化バイアスといった統計的バイアスが、差別的結果を生み出す仕組みを明らかにすること。
• AIシステムにおける構造的バイアスの原因として、アルゴリズム設計の見直しが不可欠であることを訴えること。

提案手法

• 反復的情報フィルタリングアルゴリズムの代表例として協調フィルタリングを分析する。
• ユーザーの行動が人気のあるアイテムを強化するフィードバックループを検証し、自己強化的人気バイアスを生じることを明らかにする。
• 繰り返しのフィルタリングが多様性を低下させ、推薦の均質化を促進する仕組みを調査する。
• 理論的・概念的分析を用いて、アルゴリズム学習プロセスにおける統計的バイアスが差別的結果をもたらすことを示す。
• 社会学的および批判理論的視点を援用し、アルゴリズムバイアスを一時的なものではなく構造的要因として位置づける。
• ユーザーの反応からの学習メカニズムが、明示的なデータや設計バイアスがなくても、根本的に選択バイアスを内蔵していると主張する。

実験結果

リサーチクエスチョン

• RQ1 協調フィルタリングアルゴリズムは、データや開発者のバイアスを超えて、どのようにバイアスを導入するのか？
• RQ2 反復的学習プロセスが、推薦システムにおける選択バイアスの拡大に果たす役割は何か？
• RQ3 協調フィルタリングにおける人気バイアスと均質化バイアスが、代表されないグループの排除を引き起こす理由は何か？
• RQ4 中立的なデータと意図であっても、アルゴリズム設計そのものが、どのようにシステム的差別を生み出す源となるのか？
• RQ5 アルゴリズムバイアスの構造的影響は、自動意思決定における公平性と正義にどのような意味を持つのか？

主な発見

• 協調フィルタリングアルゴリズムは、偏りのないデータであっても、その反復的学習プロセスによって根本的に選択バイアスを生じる。
• 協調フィルタリングにおける人気バイアスは、広く好まれるアイテムを優遇する仕組みであり、人気のないが関連性の高いコンテンツを外縁に追いやる。
• 均質化バイアスは推薦の多様性を低下させ、主流の好みを強化し、さらに代表されない声を無視する。
• アルゴリズム学習プロセスにおける統計的バイアスは、人間のデータ分布の端にいる人々に特に顕著な差別的結果をもたらす。
• 本研究は、アルゴリズムの設計とメカニズム自体がバイアスを内蔵していることから、アルゴリズムの中立性という考えを覆す。
• 研究結果は、AIシステムにおける公平性と正義を実現するため、アルゴリズム設計を重要な是正の対象と見なすべきであることを強調する。