[論文レビュー] Multi-objective Bandits: Optimizing the Generalized Gini Index

Róbert Busa‐Fekete, Balázs Szörényi+2 more|arXiv (Cornell University)|Jun 15, 2017

Advanced Bandit Algorithms Research参考文献 17被引用数 13

ひとこと要約

この論文は、一般化ジニ指数（GGI）を最適化することで、競合する目的を公平にバランスさせる、マルチオブジェクティブ・マルチアームド・バンディット（MOMAB）のための新しいオンライン学習アルゴリズムを提案する。制御された探索を伴うオンライン勾配降下法を用いることで、高確率で $ ilde{O}(T^{-1/2})$ の分布フリーなリグレットを達成し、合成データおよびバッテリー制御タスクにおいて理論的・実験的両面で優れた性能を示す。

ABSTRACT

We study the multi-armed bandit (MAB) problem where the agent receives a vectorial feedback that encodes many possibly competing objectives to be optimized. The goal of the agent is to find a policy, which can optimize these objectives simultaneously in a fair way. This multi-objective online optimization problem is formalized by using the Generalized Gini Index (GGI) aggregation function. We propose an online gradient descent algorithm which exploits the convexity of the GGI aggregation function, and controls the exploration in a careful way achieving a distribution-free regret $ ilde{\bigO} (T^{-1/2} )$ with high probability. We test our algorithm on synthetic data as well as on an electric battery control problem where the goal is to trade off the use of the different cells of a battery in order to balance their respective degradation rates.

研究の動機と目的

• 不確実性下でのオンライン意思決定において、複数の競合する目的をバランスさせる課題に対処すること。
• 経済学における凸集合関数として知られる一般化ジニ指数（GGI）を用いて、マルチオブジェクティブ・バンディットにおける公平性を形式化すること。
• ノイズの多いベクトル値のフィードバックを伴うバンディット設定において、低リグレットを達成すると同時に、その処理を可能にするオンライン学習アルゴリズムの設計。
• 観測されたコスト関数のバイアスに対して計算的に効率的でかつ頑健なアルゴリズムを保証すること。
• 合成データおよび実世界の電気バッテリー制御問題の両方で、提案手法の有効性を検証すること。

提案手法

• D次元のコストベクトルを伴うMOMAB問題を定式化し、公平性に配慮した集約関数としてGGIを用いる。
• GGIの目的関数を最適化するためにオンライン勾配降下法（OGD）を適用し、その凸性を活かして安定した更新を実現する。
• 確率的コスト観測によるバイアスを軽減し、正確なGGI推定を保証するための制御された探索戦略を導入する。
• 分布フリーなリグレット解析を用いて、アルゴリズムが高確率で $\tilde{O}(T^{-1/2})$ のリグレットを達成することを証明する。
• 完全情報仮定を避け、バンディットフィードバック下でも動作可能な計算的に効率的なアルゴリズムを設計する。
• 探索と活用のバランスを取るとともに、複数の目的における累積コストを最小化するフレームワークに手法を統合する。

実験結果

リサーチクエスチョン

• RQ1 一般化ジニ指数は、マルチオブジェクティブ・バンディット問題における公平性最適化に効果的に適用可能か？
• RQ2 オンライン勾配降下法は、バンディット設定下でノイズの多いベクトル値のフィードバックをどのように処理できるか？
• RQ3 確率的フィードバック下で、GGI最適化バンディットアルゴリズムの理論的リグレットバウンドは何か？
• RQ4 提案手法は、公平性を維持しつつ、近似的に最適なリグレットを達成できるか？
• RQ5 電池セルの劣化バランスを最適化するような、矛盾する目的を有する実世界の応用において、アルゴリズムはどのように性能を発揮するか？

主な発見

• 提案手法は、高確率で $ ilde{O}(T^{-1/2})$ の分布フリーなリグレットを達成し、確率的バンディットの下界にほぼ一致する。
• 一般化ジニ指数（GGI）を最適化することで、経済学で広く知られる公平性指標を用いて、複数の目的を効果的にバランスできる。
• 合成データにおける実験により、さまざまな目的のトレードオフ下でも、アルゴリズムの収束性および公平性特性が確認された。
• 電気バッテリー制御タスクでは、バッテリー・セル間の劣化率を効果的にバランスさせ、寿命の延長と公平性の向上に寄与した。
• ノイズおよびバイアスに対して頑健であることを示し、ベースライン手法に比べて公平性および累積コスト最小化の両面で優れた性能を発揮した。
• 計算効率の高さのおかげで、ベクトル値フィードバックを伴うリアルタイム制御システムへの実用的導入が可能となった。