[論文レビュー] Equality of Voice: Towards Fair Representation in Crowdsourced Top-K Recommendations

Abhijnan Chakraborty, Gourab K Patro+3 more|arXiv (Cornell University)|Nov 21, 2018

Recommender Systems and Techniques参考文献 34被引用数 6

ひとこと要約

この論文は、ツイターのトレンドやトップニュースストーリーなどのクラウドソーシング型トップ-K推薦を、単一移転投票（STV）制度を用いた多勝者選挙としてモデル化することで、より公平な手法を提案する。個人化された順位付けモデルを用いて沈黙しているユーザーの好みを推定することで、STVは割合的代表制を確保し、操作に対して耐性を示し、文化的バイアスを著しく低減するとともに、大多数が好むアイテムを促進し、極端に嫌われているごく少数のコンテンツを除外する。

ABSTRACT

To help their users to discover important items at a particular time, major websites like Twitter, Yelp, TripAdvisor or NYTimes provide Top-K recommendations (e.g., 10 Trending Topics, Top 5 Hotels in Paris or 10 Most Viewed News Stories), which rely on crowdsourced popularity signals to select the items. However, different sections of a crowd may have different preferences, and there is a large silent majority who do not explicitly express their opinion. Also, the crowd often consists of actors like bots, spammers, or people running orchestrated campaigns. Recommendation algorithms today largely do not consider such nuances, hence are vulnerable to strategic manipulation by small but hyper-active user groups. To fairly aggregate the preferences of all users while recommending top-K items, we borrow ideas from prior research on social choice theory, and identify a voting mechanism called Single Transferable Vote (STV) as having many of the fairness properties we desire in top-K item (s)elections. We develop an innovative mechanism to attribute preferences of silent majority which also make STV completely operational. We show the generalizability of our approach by implementing it on two different real-world datasets. Through extensive experimentation and comparison with state-of-the-art techniques, we show that our proposed approach provides maximum user satisfaction, and cuts down drastically on items disliked by most but hyper-actively promoted by a few users.

研究の動機と目的

• ツイターのトレンドやトップニュースストーリーなどの非個人化型、クラウドソーシング型トップ-K推薦における公平性の問題を解決すること。
• アイテム選定において割合的代表制と反多数主義の公平性を保証する選挙メカニズムを同定すること。
• すべてのユーザーが完全な順位付けを提供することは現実的でないにもかかわらず、STVを実世界のシステムに実装可能にする方法を提供すること。
• 明示的に投票を行わないが、依然として好みを持つ「沈黙の大多数」を考慮に入れること。
• 公平性を最優先とする投票メカニズムを用いて、推薦システムにおける文化的バイアスと戦略的操作を低減すること。

提案手法

• アイテムを候補とし、ユーザーの好みを投票として扱う多勝者選挙プロセスとしてトップ-K推薦をモデル化する。
• 割合的代表制や極端な候補への耐性といった公平性の特徴を持つ、単一移転投票（STV）メカニズムを採用する。
• 直接的なユーザー入力を避けるために、既存の個人化された推薦モデルを用いて沈黙しているユーザーの完全な順位付けを推定する。
• ツイターとAdressaの実世界データを用いて、STVをプララティズム投票や他のメカニズムと比較するシミュレーションを実施する。
• 完全な順位付けをすべてのユーザーから直接得ることなく、推定された順位付けを用いてSTVを適用し、トップ-Kアイテムを選定することで、公平性基準を満たす。
• 文化的バイアスの指標とユーザー満足度を用いて評価し、STVを最先端の推薦手法と比較する。

実験結果

リサーチクエスチョン

• RQ1 トップ-K推薦を多勝者選挙としてモデル化することで、公平性が向上し、文化的バイアスが低減できるか？
• RQ2 STVは、プララティズム投票や既存の推薦システムよりも、広範な世論の好みを反映するアイテムを促進するか？
• RQ3 実世界のシステムでSTVを実用化するために、沈黙しているユーザーの順位付けを効果的に推定する方法は何か？
• RQ4 STVは、少数のハイパーアクティブユーザー集団やボットによる操作に対してどの程度耐性を示すか？
• RQ5 STVベースの推薦は、極端に嫌われているが過剰にプロモートされているコンテンツの促進を最小限に抑えながら、ユーザー満足度を最大化できるか？

主な発見

• STVベースの推薦は、ツイターのネイティブアルゴリズムやプララティズム投票システムと比較して、文化的バイアスが著しく低減していた。
• STVメカニズムは割合的代表制を達成し、大多数のユーザーがトップ-Kリストに自身の好むトピックを少なくとも1つ含めることができた。
• STVは、少数の活発なユーザー集団が頻繁にプロモートする極端で嫌われているトピックを効果的に除外した。
• アイテムプロモーションに広範かつ分散された支持を必要とするため、ボットや計画的なキャンペーンの影響を低減した。
• ユーザー満足度はSTVで最大化され、沈黙の大多数の好みと推薦アイテムの整合性が向上したことが実証された。
• ツイターとAdressaのデータセットを用いた実証的評価により、推定順位を用いたSTV*（STV-star）が、WVおよびTT手法を上回り、公平性と代表性の観点で優れていた。