[論文レビュー] Fair Algorithms for Infinite and Contextual Bandits

Matthew Joseph, Michael Kearns+3 more|arXiv (Cornell University)|Oct 29, 2016

Advanced Bandit Algorithms Research被引用数 12

ひとこと要約

本稿は、無限および文脈的線形バンディットにおける功利的公平性のための新規フレームワークを導入し、グループメンバーシップの知識がなくても公平な選択を可能にする。信頼区間を用いて、劣った資質の個人が優れた資質の個人よりも優遇されないことを保証することで、対象のインスタンスに依存するレグレットバウンドを達成しており、そのバウンドは対数的要因を除いてタイトであり、従来の研究に比べて一般性と公平性制約下での性能保証の両面で顕著に向上している。

ABSTRACT

We study fairness in linear bandit problems. Starting from the notion of meritocratic fairness introduced in Joseph et al. [2016], we carry out a more refined analysis of a more general problem, achieving better performance guarantees with fewer modelling assumptions on the number and structure of available choices as well as the number selected. We also analyze the previously-unstudied question of fairness in infinite linear bandit problems, obtaining instance-dependent regret upper bounds as well as lower bounds demonstrating that this instance-dependence is necessary. The result is a framework for meritocratic fairness in an online linear setting that is substantially more powerful, general, and realistic than the current state of the art.

研究の動機と目的

• 不確実性下でのオンライン意思決定における公平性を扱う。特に、標準的なノーレグレットアルゴリズムが、より資質の高い個人を系統的に不利にする可能性がある状況を想定する。
• 固定されたグループ構造や1ラウンドあたり1回の選択という制限的な仮定を緩和するため、グループに依存しない公平性定義を導入する。
• 有限および無限の線形バンディット設定の両方における公平なアルゴリズムを開発する。これには、複数選択（multiple-play）および無限選択（infinite-choice）のシナリオを含む。
• インスタンス依存のレグレットバウンドを確立し、下界を用いてその必要性を示す。
• 公平性制約が無限バンディット問題におけるレグレットの構造を根本的に変えること、したがってインスタンス依存の分析が不可欠であることを示す。

提案手法

• 功利的基準に基づく公平性の定義：アルゴリズムは、劣った資質の個人に、より資質の高い個人よりも高い選択確率を割り当ててはならない。
• 推定報酬の信頼区間を用いて選択資格を決定し、高い報酬を持つ選択肢が真に優れていることを保証することで、公平性を確保する。
• 最適解が実行可能領域の極端な点（extreme points）に位置することを利用し、信頼区間に基づくフレームワークを無限線形バンディットに適応する。
• レグレットバウンドが、選択集合内の最良および第二番目に良い極端点の間の距離 Δ_gap に依存することを証明する。この距離は、インスタンス固有の難易度を捉えている。
• 下界を確立することで、無限設定における公平なアルゴリズムにとってインスタンス依存性が必須であることを示し、上界のタイトさを裏付ける。
• 実行可能領域に対する帰納法および位相的議論を用いて、公平性制約がタイトな場合、公平なアルゴリズムは特定の部分集合に対して一様に選択しなければならないことを証明する。

実験結果

リサーチクエスチョン

• RQ1 グループメンバーシップや固定されたグループ構造を仮定せずに、線形バンディットにおける公平性を強制することは可能か？
• RQ2 無限線形バンディット問題における公平なアルゴリズムのレグレットの根本的限界は何か？
• RQ3 選択集合の構造、特に最適および非最適な極端点の間の距離が、公平な学習性能にどのように影響するか？
• RQ4 無限バンディット問題における公平なアルゴリズムにとって、インスタンス依存のレグレットは必須か？それとも一様なバウンドを達成できるか？
• RQ5 複数選択および無限選択の設定に対しても、強いレグレット保証を維持しながら公平なアルゴリズムを設計できるか？

主な発見

• 提案された公平なアルゴリズムは、選択集合内の最良および第二番目に良い極端点の間のギャップ Δ_gap に比例するインスタンス依存のレグレットバウンドを、無限線形バンディット問題で達成する。
• 下界を確立し、任意の公平なアルゴリズムが Δ_gap の多項式関数に依存するレグレットを被る必要があることを示した。これにより、インスタンス依存性が必須であり、上界がほぼタイトであることが証明された。
• 本フレームワークは、グループメンバーシップの知識を必要としないため、任意の非構造的で未分類の個人集団へ応用可能である。
• 実験では、標準的な UCB スタイルのアルゴリズムが10,000ラウンドでほぼ400件の不適切な扱いを引き起こす一方、提案された FairUCB は最小限のレグレットで公平性を維持している。
• 相関のある特徴を持つ状況では、UCB は信頼区間の不確実性が高いため、大多数のグループに対して不適切に扱いが偏り、予期しない公平性の失敗を示している。
• 選択集合に対する構造的仮定がなければ、非自明なレグレット保証を持つ公平なアルゴリズムは存在しえないことを証明した。これにより、本研究の仮定の正当性が裏付けられた。