[論文レビュー] Fair Exploration via Axiomatic Bargaining

Jackie Baek, Vivek F. Farias|arXiv (Cornell University)|Jun 4, 2021

Advanced Bandit Algorithms Research参考文献 31被引用数 9

ひとこと要約

本稿は、ナッシュ交渉解を用いて、文化的背景ごとの探索コストを公平に分配する、文脈バンディットにおける公平な探索フレームワークを提案する。最適な後悔を達成する方策は、劣位なグループに不平等に探索コストを負担させることを示し、本稿で提唱する公平な方策は、有界な公平性の犠牲を伴いながらも近似的に最適な後悔を達成する。実世界のワーファリン投与量決定の事例研究で検証された。

ABSTRACT

Exploration is often necessary in online learning to maximize long-term reward, but it comes at the cost of short-term 'regret'. We study how this cost of exploration is shared across multiple groups. For example, in a clinical trial setting, patients who are assigned a sub-optimal treatment effectively incur the cost of exploration. When patients are associated with natural groups on the basis of, say, race or age, it is natural to ask whether the cost of exploration borne by any single group is 'fair'. So motivated, we introduce the 'grouped' bandit model. We leverage the theory of axiomatic bargaining, and the Nash bargaining solution in particular, to formalize what might constitute a fair division of the cost of exploration across groups. On the one hand, we show that any regret-optimal policy strikingly results in the least fair outcome: such policies will perversely leverage the most 'disadvantaged' groups when they can. More constructively, we derive policies that are optimally fair and simultaneously enjoy a small 'price of fairness'. We illustrate the relative merits of our algorithmic framework with a case study on contextual bandits for warfarin dosing where we are concerned with the cost of exploration across multiple races and age groups.

研究の動機と目的

• オンライン学習システムにおける文化的背景グループ間での探索コストの不均等配分という倫理的懸念に対処すること。
• 特にナッシュ交渉解を用いた公理的交渉理論を用いて、探索コスト配分における公平性を形式化すること。
• 公平性とほぼ後悔最適性の両立を図る学習方策を設計し、公平性の犠牲を最小限に抑えること。
• 個人のワーファリン投与量決定という実世界の医療文脈において、このフレームワークを検証すること—特に人種的・年齢的グループ間での個別化投与。
• 標準的な後悔最小化方策が、劣位なグループを不当に犠牲にすることにより、公平性の原則に反することを示すこと。

提案手法

• 各グループが異なる到着確率と行動集合を持つ「グループ化バンディット」モデルを導入し、各グループごとの後悔を測定する。
• インクリメンタル効用（グループの個別最適パフォーマンスに対する後悔の低減量）を定義し、交渉の根拠を形成する。
• 対称性、パレート効率性など公理的性質を満たすナッシュ交渉解を適用し、公平性を確保する。
• 達成可能な後悔プロファイル上でナッシュ社会的福祉（NSW）関数を最適化する方策を導出。これにより、公平性とパフォーマンスのバランスを取る。
• 漸近的後悔解析と集中不等式を用いて、公平性と後悔のトレードオフに関する理論的保証を確立する。
• KL-UCBおよび他のバンディットアルゴリズムをベースラインとして用い、公平性と後悔パフォーマンスを比較する。

実験結果

リサーチクエスチョン

• RQ1 オンライン学習における探索コストを文化的背景グループ間でどのように公平に分配できるか。
• RQ2 マルチグループバンディット設定において、後悔の公平な配分を特徴づける性質は何か。
• RQ3 標準的な後悔最小化方策は、劣位なグループに不均等に負担をかけることで、格差を悪化させる程度はどの程度か。
• RQ4 近似的に最適な後悔を達成しつつ、グループ間の後悔配分において公平性を確保できる方策を設計できるか。
• RQ5 このようなフレームワークにおける「公平性の犠牲」、すなわち公平性と総合的後悔のトレードオフはどの程度か。

主な発見

• KL-UCBのような後悔最適方策は、最も劣位なグループに不平等に探索コストを負担させることにより、最も不公平な結果をもたらす。
• ナッシュ交渉解に基づく本稿の提案方策は、有界な公平性の犠牲を伴い、どのグループも不公正に高い後悔を負担しないことを保証する。
• 理論的解析により、ナッシュ交渉に基づく方策は、グループ間のインクリメンタル効用（後悔低減量）の積を漸近的に最大化することが示された。
• ワーファリン投与量決定の事例研究において、本稿の公平な方策は、標準的なバンディット方策と比較して、人種的・年齢的グループ間の後悔格差を顕著に低減した。
• ナッシュ交渉解が、重要な公平性公理を満たす唯一の解であることが示され、公平な探索に原理的根拠を持つ。
• 本稿は、公平な方策の漸近的後悔が最適後悔の定数倍の範囲内にあることを確立し、性能を犠牲にすることなく公平性を達成できることを示した。