[論文レビュー] Achieving Fairness in the Stochastic Multi-armed Bandit Problem

Vishakha Patil, Ganesh Ghalme+2 more|arXiv (Cornell University)|Jul 23, 2019

Advanced Bandit Algorithms Research参考文献 43被引用数 19

ひとこと要約

本稿では、Fair-MAB問題を導入し、各アームが各ラウンドで事前に指定された割合以上に引かれるように保証することで公平性を強制する、確率的マルチアームバンディットの変種を提示する。Fair-Learnと呼ばれるメタアルゴリズムを提案し、UCB1と組み合わせることで、時間に依存しない一様な公平性を確保しながら、定数レギュレート（r-Regret）を達成する。これは、公平性とレギュレート性能の間で強力なトレードオフを実現する。

ABSTRACT

We study an interesting variant of the stochastic multi-armed bandit problem, called the Fair-SMAB problem, where each arm is required to be pulled for at least a given fraction of the total available rounds. We investigate the interplay between learning and fairness in terms of a pre-specified vector denoting the fractions of guaranteed pulls. We define a fairness-aware regret, called $r$-Regret, that takes into account the above fairness constraints and naturally extends the conventional notion of regret. Our primary contribution is characterizing a class of Fair-SMAB algorithms by two parameters: the unfairness tolerance and the learning algorithm used as a black-box. We provide a fairness guarantee for this class that holds uniformly over time irrespective of the choice of the learning algorithm. In particular, when the learning algorithm is UCB1, we show that our algorithm achieves $O(\ln T)$ $r$-Regret. Finally, we evaluate the cost of fairness in terms of the conventional notion of regret.

研究の動機と目的

• 各ラウンドで各アームが最低限の割合以上に引かれるように保証することで、逐次的意思決定における公平性を確保すること。
• 報酬最大化と公平性制約の両方を考慮した、新たな公平性認識レギュレート指標r-Regretを形式化すること。
• 任意の下位レベルの学習アルゴリズムに依存しない時間的に一様な公平性を保証するメタアルゴリズムFair-Learnを開発すること。
• 不正の許容パラメータを用いて、従来のレギュレートに対する公平性のコストを定量化すること。
• 理論的保証の実験的妥当性を検証すること。

提案手法

• 公平性ベクトル $ r \in \mathbb{R}^k $ を用いてFair-MAB問題を定式化し、各成分 $ r_i $ は時間ステップ $ t $ におけるアーム $ i $ の最小引数割合を指定する。
• r-Regretは、公平性制約を満たす最適方策に対する期待レギュレートとして定義され、標準レギュレートに公平性を組み込んだものである。
• Fair-Learnは、任意のブラックボックス学習アルゴリズム（例：UCB1）を用い、公平性ベクトル $ r $ に基づいて性能が低いアームに引数の一部を予約することで公平性を強制するメタアルゴリズムとして導入される。
• アルゴリズムは、各時間ステップ $ t $ において、各アーム $ i $ が少なくとも $ \lfloor r_i \cdot t \rfloor $ 回引かれるように保証し、決定論的かつ任意時刻に有効な公平性保証を提供する。
• 公平性保証は、下位レベルの学習アルゴリズムの選択に依存しないため、頑健でモジュラーである。
• 理論的解析により、ブラックボックスにUCB1を使用した場合、Fair-Learnが $ O(\ln T) $ のr-Regretを達成することが示され、これは十分に大きな時間枠において成長率が定数であることを意味する。

実験結果

リサーチクエスチョン

• RQ1 マルチアームバンディットアルゴリズムは、各ラウンドで各アームが最低限の引数割合以上に引かれるように保証しながら、累積報酬を最大化できるか？
• RQ2 学習効率を損なわせることなく、公平性をレギュレートフレームワークに形式的に統合できるか？
• RQ3 学習アルゴリズムのパフォーマンスに影響を及ぼす公平性（公平性ベクトル $ r $ を通じて）とレギュレートのトレードオフはどのように測定できるか？
• RQ4 時間枠 $ T $ が未知であっても、時間的に一様な公平性保証を達成できるか？
• RQ5 公平性のコスト（r-Regretの増加として測定）は、公平性制約の強さに応じてどのようにスケーリングされるか？

主な発見

• Fair-Learnは、下位レベルの学習アルゴリズムの選択にかかわらず、すべてのアームに対して時間に依存しない一様な公平性保証を提供する。
• UCB1と組み合わせた場合、Fair-Learnは $ O(\ln T) $ のr-Regretを達成し、成長率が定数であるため、公平性制約下でも優れた学習パフォーマンスを示す。
• 公平性保証は、過去の研究が漸近的または期待値に基づいてのみ保証するのとは異なり、時間的に一様に成立する。
• アルゴリズムは1ラウンドあたり $ O(1) $ の計算オーバーヘッドしか発生しないため、繰り返し最適化を必要とする手法と比較して効率的である。
• 不正の許容パラメータ $ \alpha $ を用いて、公平性とレギュレートの明確なトレードオフを確立した。
• 実験的妥当性評価により、理論的結果が確認され、Fair-Learnは実際の応用においても公平性を維持しながら低いr-Regretを達成していることが示された。