[論文レビュー] An Algorithmic Framework to Control Bias in Bandit-based Personalization

L. Elisa Celis, Sayash Kapoor+2 more|arXiv (Cornell University)|Feb 23, 2018

Advanced Bandit Algorithms Research参考文献 12被引用数 15

ひとこと要約

本論文は、階層的グループ構造を通じてコンテンツグループの露出に公平性制約を課すことにより、バンディットベースのパーソナライゼーションにおけるバイアスを制御するための新しいアルゴリズムフレームワークを提案する。2つのスケーラブルなバンディットアルゴリズム、Fair-EPS と Fair-OFUL を導入し、低レグレットを達成しながらも公平性を維持する。実験では、x<1/2 の場合にリスク差が 1−x 未満であるのを達成するための収益損失がたったの 20x% にとどまることを示している。

ABSTRACT

Personalization is pervasive in the online space as it leads to higher efficiency and revenue by allowing the most relevant content to be served to each user. However, recent studies suggest that personalization methods can propagate societal or systemic biases and polarize opinions; this has led to calls for regulatory mechanisms and algorithms to combat bias and inequality. Algorithmically, bandit optimization has enjoyed great success in learning user preferences and personalizing content or feeds accordingly. We propose an algorithmic framework that allows for the possibility to control bias or discrimination in such bandit-based personalization. Our model allows for the specification of general fairness constraints on the sensitive types of the content that can be displayed to a user. The challenge, however, is to come up with a scalable and low regret algorithm for the constrained optimization problem that arises. Our main technical contribution is a provably fast and low-regret algorithm for the fairness-constrained bandit optimization problem. Our proofs crucially leverage the special structure of our problem. Experiments on synthetic and real-world data sets show that our algorithmic framework can control bias with only a minor loss to revenue.

研究の動機と目的

• コンテンツ選択の過剰な特化に起因する、バンディットベースのパーソナライゼーションシステムにおけるシステム的バイアスおよび極化の問題に対処すること。
• 単一の公平性指標を固定せずに、ユーザーがカスタムの公平性制約をコンテンツグループに対して指定できる汎用的で拡張可能なフレームワークを構築すること。
• 高い収益を維持しながらコンテンツ露出における公平性を保証する、スケーラブルで低レグレットな制約付きバンディット最適化アルゴリズムを設計すること。
• 合成データおよび実世界のデータセット（YOW データセットを含む）を用いた実験を通じて、公平性と収益性能のトレードオフを評価すること。

提案手法

• 各グループからのコンテンツ選択確率に線形の上界および下界を課すことにより、オンライングループ公平性を形式化し、コンテンツ露出の多様性を保証する。
• 公平性制約をグループレベルの確率に制約としてエンコードすることで、コンテンツ選択問題を制約付き最適化タスクとしてモデル化する。
• 既存の非制約付きバンディットアルゴリズム（例：ε-greedy や OFUL）を、グループ制約を満たす下位から上位への確率割り当て手順を統合することで適合させる。
• 再帰的で木構造ベースの割り当て戦略を採用：まずリーフレベル（個々のアーム）で下界を満たし、その後、上界を守りつつ最高報酬のアームに残りの確率を割り当てる。
• 動的バウンド調整を実施：親グループの総確率が子グループの上界の合計を超える場合、親グループの上界をそれに応じて低下させる。
• 背理による証明により、貪欲な割り当て戦略が最適であることを示し、制約に違反せずに最高報酬のアームに再割り当てすることで、いかなる代替割り当ても改善可能であることを示している。

実験結果

リサーチクエスチョン

• RQ1 バイアス制約をバンディットベースのパーソナライゼーションに形式的に統合することで、収益やレグレットが著しく低下することなく実現可能か？
• RQ2 カスタマイズ可能なグループ制約を通じて、リスク差や代表性の不均衡といった多様な公平性指標（例：リスク差、代表性の不均衡）をサポートできる汎用フレームワークをどのように設計できるか？
• RQ3 制約付き最適化下での実世界および合成バンディット設定において、公平性と収益のトレードオフはどのように変化するか？
• RQ4 階層的グループ構造と報酬分布は、公平性に配慮したバンディットアルゴリズムの性能およびスケーラビリティにどのように影響を与えるか？

主な発見

• Fair-EPS および Fair-OFUL アルゴリズムは、合成データおよび実世界データの両方で、制約付き設定において低レグレットを達成し、理論的最適解に迅速に収束する。
• x<1/2 の場合にリスク差が 1−x 未満である制約を満たすために、収益損失はわずか 20x% にとどまる。これは、公平性と利便性の間の管理可能なトレードオフを示している。
• 極めて厳しい公平性制約（例：リスク差 = 0）下でも、最適な制約付き報酬は非制約最大報酬の2倍以内に保たれる。
• 提案された貪欲な割り当てアルゴリズムは、g をグループ階層の高さ、k をアーム数としたとき、O(gk) 時間で実行可能であり、ウェブ規模の応用に適したスケーラビリティを有する。
• フレームワークは過剰な特化を防ぎ、ユーザーの好みを学習するに従っても、グループ間でのコンテンツ露出が多様に保たれることを実証している。
• 実験では、アルゴリズムフレームワークが高いユーザーエンゲージメントを維持しながらバイアスを効果的に制御できることを示しており、ニュースフィードや広告システムにおける実用的導入可能性を示唆している。