[論文レビュー] Fair and Green Hyperparameter Optimization via Multi-objective and Multiple Information Source Bayesian Optimization

Antonio Candelieri, Andrea Ponti+1 more|arXiv (Cornell University)|May 18, 2022

Advanced Multi-Objective Optimization Algorithms被引用数 5

ひとこと要約

本稿では、正確性と公平性を近似するために小さなデータサブセットを用いることで、フェアでグリーンなハイパーパramータ最適化を加速する、複数の情報源を備えた多目的ベイズ最適化フレームワークであるFanG-HPOを提案する。標準の多目的BOと比較して、大幅に少ないクエリ数でパレート効率的なモデルを達成しており、計算コストとエネルギー消費を削減しながら、ベンチマークのフェアネスデータセットにおけるモデル品質を損なわない。

ABSTRACT

There is a consensus that focusing only on accuracy in searching for optimal machine learning models amplifies biases contained in the data, leading to unfair predictions and decision supports. Recently, multi-objective hyperparameter optimization has been proposed to search for machine learning models which offer equally Pareto-efficient trade-offs between accuracy and fairness. Although these approaches proved to be more versatile than fairness-aware machine learning algorithms -- which optimize accuracy constrained to some threshold on fairness -- they could drastically increase the energy consumption in the case of large datasets. In this paper we propose FanG-HPO, a Fair and Green Hyperparameter Optimization (HPO) approach based on both multi-objective and multiple information source Bayesian optimization. FanG-HPO uses subsets of the large dataset (aka information sources) to obtain cheap approximations of both accuracy and fairness, and multi-objective Bayesian Optimization to efficiently identify Pareto-efficient machine learning models. Experiments consider two benchmark (fairness) datasets and two machine learning algorithms (XGBoost and Multi-Layer Perceptron), and provide an assessment of FanG-HPO against both fairness-aware machine learning algorithms and hyperparameter optimization via a multi-objective single-source optimization algorithm in BoTorch, a state-of-the-art platform for Bayesian Optimization.

研究の動機と目的

• 機械学習のハイパーパramータ最適化における公平性とエネルギー効率性の二重の課題に対処すること。
• フェアな機械学習モデルのハイパーパramータチューニングにかかる計算的・環境的コストを低減すること。
• モデルのトレーニングおよび検証のクエリ数を最小限に抑える一方で、高品質なパレートフロントを維持する手法を開発すること。
• 大規模データセットにおける正確性、公平性、クエリ効率性のトレードオフを評価すること。
• BoTorchにおけるフェアネスに配慮したMLアルゴリズムおよび単一情報源の多目的BOと比較して、FanG-HPOのパフォーマンスを評価すること。

提案手法

• 大規模データセットから代表的な小さなサブセットをサンプリングすることで、複数の情報源を活用し、正確性と公平性の指標を近似する。
• 多目的ベイズ最適化を用いて正確性と公平性を同時に最適化し、両目的をガウス過程を用いて確率的過程としてモデル化する。
• 複数の情報源にわたる探索と活用のバランスを取るために、二段階のアセスメント関数を設計し、最も情報量の多いクエリを選択する。
• 合計クエリコストを最小化するために、不確実性と期待改善度に基づいてクエリを動的に各情報源に割り当てる。
• クエリコストがデータサブセットのサイズに依存するコストに配慮したモデリングを統合し、エネルギー効率の良い最適化を実現する。
• パレートフロントは、フルデータセットにおける真の評価から構築されるが、最適化は近似された情報源上で実行される。

実験結果

リサーチクエスチョン

• RQ1 複数の情報源を用いたベイズ最適化は、フェアな機械学習の多目的ハイパーパramータ最適化において、モデル品質を損なわずにクエリコストを削減できるか。
• RQ2 FanG-HPOは、単一情報源の多目的BO（例：BoTorch）と比較して、パレートフロントの品質とクエリ効率性においてどのように異なるか。
• RQ3 FanG-HPOは、フェアネスに配慮したMLアルゴリズム（例：zlrm, fgrrm）と比較して、どれほどパレート効率的なモデルを特定できるか。
• RQ4 データサブセットの使用が、フェアネスと正確性を保持したまま、ハイパーパramータチューニングにおけるエネルギー消費を顕著に削減できるか。
• RQ5 XGBoostとMLPの異なる機械学習モデル、およびADULTやCOMPASといった異なるフェアネスデータセットにおいて、FanG-HPOのパフォーマンスはどのように変化するか。

主な発見

• FanG-HPOは、BoTorchを用いた多目的最適化と同等のハイパーボリュームを達成しているが、フルデータセットにおけるクエリ数を大幅に削減している。
• ADULTおよびCOMPASの両データセットにおいて、特にMLPモデルの場合、高品質なパレート解を特定するために必要なフルデータセットのクエリ数がFanG-HPOによって削減された。
• XGBoostモデルはFanG-HPOで最適化された結果、パレートの観点からほとんどのMLPおよびフェアネスに配慮したアルゴリズムのモデルを上回り、正確性と公平性のトレードオフをより良いバランスで達成した。
• zlrmおよびfgrrmからのモデルと比較して、FanG-HPOが特定したモデルは、特にADULTデータセットにおいて、パレート効率性で優れており、一部ではフェアネスに配慮したアルゴリズムをも凌駕した。
• 情報源ごとのクエリ数は、データセットやモデルによって変動し、FanG-HPOはより情報量の多い小さなサブセットに多くのクエリを割り当てており、適応的サンプリングを反映している。
• このフレームワークは、複数のデータサブセットを用いることで、ハイパーパramータ空間の効率的な探索が可能になり、エネルギー消費とCO2排出量の削減が実現できることを示した。