[論文レビュー] A Framework for Fairness in Two-Sided Marketplaces

Kinjal Basu, Cyrus DiCiccio+2 more|arXiv (Cornell University)|Jun 23, 2020

Advanced Bandit Algorithms Research参考文献 31被引用数 5

ひとこと要約

本稿では、複数のセッションにわたるクエリ（リクエスター）および推薦（リクエスト先）メンバーに対して、ユーティリティベースの公平性制約を課すことで、二面的マーケットプレイスのレコメンデーションシステムにおける公平性を保証するスケーラブルでエンド・ツー・エンドの最適化フレームワークを提案する。先行研究を拡張し、双対に基づくオンライン再ランク付け手法を導入することで、線形の計算量を維持したまま、公平性を著しく向上させつつ、リクエスター側のユーティリティに悪影響を及げない。

ABSTRACT

Many interesting problems in the Internet industry can be framed as a two-sided marketplace problem. Examples include search applications and recommender systems showing people, jobs, movies, products, restaurants, etc. Incorporating fairness while building such systems is crucial and can have a deep social and economic impact (applications include job recommendations, recruiters searching for candidates, etc.). In this paper, we propose a definition and develop an end-to-end framework for achieving fairness while building such machine learning systems at scale. We extend prior work to develop an optimization framework that can tackle fairness constraints from both the source and destination sides of the marketplace, as well as dynamic aspects of the problem. The framework is flexible enough to adapt to different definitions of fairness and can be implemented in very large-scale settings. We perform simulations to show the efficacy of our approach.

研究の動機と目的

• ジョブ、フレンド、コンテンツ推薦システムなど、ユーザーが両方の役割（リクエスターと候補者）を果たすことが一般的な二面的マーケットプレイスにおける公平性を解決すること。
• 複数セッションにわたるメンバーのユーティリティを用いて公平性を形式化し、従来の単一セッションの公平性定義を動的かつ長期的な相互作用に拡張すること。
• 下位モデルアーキテクチャに依存しないスケーラブルで、かつ中間処理としての再ランク付け手法を開発し、両方の側（リクエスターおよびリクエスト先）に対して公平性制約を課すこと。
• 時間的ユーティリティ集約と動的制約更新を組み合わせることで、特に少数派グループに対する公平性が長期にわたり維持されることを保証すること。
• 理論的裏付けが強く、システムパフォーマンスへの影響を最小限に抑える大規模プロダクションシステムに適した、実装可能でスケーラブルなソリューションを提供すること。

提案手法

• リクエスターおよびリクエスト先メンバーの両方に対して、ユーティリティベースの指標を用いて公平性を定式化し、ユーティリティは時間経過に伴う露出または表出の度合いとして定義する。
• Singh と Joachims (2018) の単一セッション公平性フレームワークを、複数のクエリや相互作用にわたるユーティリティの集約により、マルチセッション公平性に拡張する。
• リクエスターおよびリクエスト先両側に公平性制約を課す線形最適化定式化を構築し、複雑な時間的制約が存在しても線形性を保つ。
• 双対に基づくオンラインアルゴリズムを採用することで、リアルタイムの再ランク付けを可能にし、再トレーニングを伴わずに公平性制約を動的に更新可能にする。
• 最終的なランク付けを変更することで公平性制約を満たす後処理再ランク付け器を採用し、モデルが生成した関連性スコアを維持する。
• ラグランジュ緩和と双対分解を用いて、大規模かつ高速な推薦システムにスケーラブルなソリューションを実現する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーが両方の役割（リクエスターおよび候補者）を果たす二面的マーケットプレイスにおいて、公平性を意味的に定義する方法は何か？
• RQ2 個々のクエリやセッションごとの公平性ではなく、複数セッションにわたる公平性を課すと、どのような影響が生じるか？
• RQ3 スケーラブルでオンラインの再ランク付けフレームワークは、リクエスターおよびリクエスト先両グループに対して、関連性やパフォーマンスの低下を伴わずに公平性を維持できるか？
• RQ4 公平性制約の動的更新は、大規模システムにおけるユーティリティのバランスとシステム効率に、どのように影響を与えるか？
• RQ5 下位モデルアーキテクチャを変更せずに、後処理アプローチがどの程度の公平性を達成できるか？

主な発見

• 提案された双対ベースの再ランク付け器により、リクエスト先側のユーティリティバランスが著しく向上し、m=20 かつ t=20 の条件下で、再ランク付けなしの状態（0.1964）から、dualWithDynamic の状態（0.1090）に乖離度が低下した。
• リクエスター側のユーティリティは、各手法間でほとんど安定しており、0.5166 から 0.5860 の範囲に収まっており、リクエスター体験への悪影響が最小限であることが示された。
• 表示スロット数（m）を増やすことで、事前に公平性の満足度が向上し、m=20 の場合に比べて m=10 の場合にプライマルおよびデュアル手法で乖離度が高くなるという証拠が得られた。
• 双対パラメータの更新頻度を高めるほど、リクエスト先のユーティリティが目標の公平性に近づくが、計算負荷の増加を伴う。
• フレームワークはセッションにわたって公平性を維持できており、時間的ユーティリティ集約によって長期的な露出の不均衡を是正できることを示した。
• シミュレーションにより、再ランク付けがなければ、特に少数派グループにおいて顕著なユーティリティの格差が生じることが確認され、本稿で提案する公平性メカニズムの必要性が裏付けられた。