[論文レビュー] Multi-Objective Automatic Machine Learning with AutoxgboostMC

Florian Pfisterer, Stefan Coors+2 more|arXiv (Cornell University)|Aug 28, 2019

Machine Learning and Data Classification参考文献 44被引用数 15

ひとこと要約

本稿では、予測性能、公平性、解釈可能性といった複数のユーザー定義基準を同時に最適化する、マルチオブジェクティブAutoMLフレームワークAutoxgboostMCを提案する。ベイズ最適化とスレーブモデルを用いて、機械学習パイプラインの最適化を実現する。主な貢献は、トレードオフの解のパレートフロントを生成する透明性がありインタラクティブなシステムであり、ユーザーの特定の好みに合ったモデル選択を可能にする。実際の評価では、単一目的のベースラインに比べて公平性と耐性の面で優れている一方で、予測精度は競争力のある水準を維持していることが示された。

ABSTRACT

AutoML systems are currently rising in popularity, as they can build powerful models without human oversight. They often combine techniques from many different sub-fields of machine learning in order to find a model or set of models that optimize a user-supplied criterion, such as predictive performance. The ultimate goal of such systems is to reduce the amount of time spent on menial tasks, or tasks that can be solved better by algorithms while leaving decisions that require human intelligence to the end-user. In recent years, the importance of other criteria, such as fairness and interpretability, and many others have become more and more apparent. Current AutoML frameworks either do not allow to optimize such secondary criteria or only do so by limiting the system's choice of models and preprocessing steps. We propose to optimize additional criteria defined by the user directly to guide the search towards an optimal machine learning pipeline. In order to demonstrate the need and usefulness of our approach, we provide a simple multi-criteria AutoML system and showcase an exemplary application.

研究の動機と目的

• 予測性能を超える複数の基準（例：公平性、解釈可能性、耐性）を最適化できるAutoMLシステムの増加するニーズに対応すること。
• 競合する目的間のトレードオフをユーザーが好みに合わせてガイドできる、透明性がありインタラクティブなフレームワークを提供すること。
• 複数の基準を同時に最適化することで、単一目的の最適化よりも優れた全体的なモデル品質とユーザーのニーズへの整合性が得られることを示すこと。
• AutoMLパイプラインにおける抽象的基準（例：公平性、解釈可能性）の実用的で測定可能な代理指標を開発・検証すること。
• 単一ラーナーのAutoMLシステムを拡張し、モデルや前処理の選択を制限せずに、マルチ基準最適化を組み込むこと。

提案手法

• フレームワークは、ハイパーパramーターや前処理手順の複雑で階層的な探索空間を走破するために、ランダムフォレストのスレーブモデルを用いたベイズ最適化を採用する。
• ユーザーが定義する複数の目的関数（例：最小平均クラス誤差（mmce）、公平性F1（fairF1）など）をサポートする。
• 最適化プロセスにより、すべての目的関数において支配されない解のパレートフロントが生成され、すべての目的における最適なトレードオフを表現する。
• ユーザーは、予測される目的値の範囲（例：0.1〜0.9）を指定することで、パレートフロントの希望する領域に焦点を当てたインタラクティブな探索を実行できる。
• システムは段階的チューニングをサポートする：ユーザーは探索予算（例：20回から120回）を延長でき、収束に伴う改善解の観察が可能である。
• フレームワークはautoxgboostの拡張として実装されており、XGBoostをベース推定器として採用しつつ、マルチオブジェクティブな構成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ユーザー定義の目的（例：公平性、解釈可能性）を制限せずに、AutoMLシステムが複数の基準を効果的に最適化できるか。
• RQ2 実世界のシナリオにおいて、パレートフロントを用いたマルチオブジェクティブ最適化は、単一目的最適化に比べてどのようにモデル選択を改善するか。
• RQ3 AutoMLの文脈において、抽象的機械学習基準（例：公平性、解釈可能性）の有効で測定可能な代理指標は何か。
• RQ4 ユーザーが目的値の予測範囲に制約を設けることで、最適化プロセスをどの程度ガイドできるか。
• RQ5 予測精度と公平性の観点から、マルチオブジェクティブAutoMLは単一目的ベースラインと比べてどの程度優れているか。

主な発見

• AutoxgboostMCが生成したパレートフロントには、テストセットで予測性能（mmce ≈ 0.142）を維持しつつ、大幅に向上した公平性（fairF1最高で0.096）を達成する解が含まれている。
• 120回のチューニング反復後、フレームワークはテストセットでfairF1 0.096を達成した。一方、単一目的ベースライン（mmceのみ最適化）は公平性が0.000にとどまった。
• システムはmmce ≈ 0.130、fairF1 ≈ 0.096のモデルを効果的に同定し、精度と公平性の間の実現可能なトレードオフを示した。
• パレートフロントは時間経過とともに進化し、120回の反復後の最終フロントは収束性が向上し、高性能で公平なモデルのカバレッジが向上していた。
• パレートフロントから選択されたモデルは、単一目的手法（0.000）よりも高い公平性スコア（最高0.116）を達成しており、マルチ基準最適化の価値を裏付けた。
• インタラクティブな制約メカニズムにより、ユーザーはmmceとfairF1を指定された範囲（0.1〜0.9）内でバランスをとる希望のトレードオフに焦点を当てた探索が可能だった。