[論文レビュー] Multi-agent Dynamic Algorithm Configuration

Ke Xue, Jiacheng Xu+5 more|arXiv (Cornell University)|Oct 13, 2022

Advanced Multi-Objective Optimization Algorithms被引用数 7

ひとこと要約

本稿では、複雑な最適化アルゴリズムにおける複数の非一様なハイパーパrameterを動的に調整する協調的マルチエージェント強化学習フレームワークであるMulti-agent Dynamic Algorithm Configuration (MA-DAC) を提案する。各ハイパーパrameterタイプを文脈付きマルチエージェントMDP内の別個のエージェントとしてモデル化することで、MA-DACはMOEA/Dにおいてヒューリスティックルール、マルチアームバンディット、単一エージェントRLを上回り、問題クラスにわたる優れた性能と一般化能力を示した。

ABSTRACT

Automated algorithm configuration relieves users from tedious, trial-and-error tuning tasks. A popular algorithm configuration tuning paradigm is dynamic algorithm configuration (DAC), in which an agent learns dynamic configuration policies across instances by reinforcement learning (RL). However, in many complex algorithms, there may exist different types of configuration hyperparameters, and such heterogeneity may bring difficulties for classic DAC which uses a single-agent RL policy. In this paper, we aim to address this issue and propose multi-agent DAC (MA-DAC), with one agent working for one type of configuration hyperparameter. MA-DAC formulates the dynamic configuration of a complex algorithm with multiple types of hyperparameters as a contextual multi-agent Markov decision process and solves it by a cooperative multi-agent RL (MARL) algorithm. To instantiate, we apply MA-DAC to a well-known optimization algorithm for multi-objective optimization problems. Experimental results show the effectiveness of MA-DAC in not only achieving superior performance compared with other configuration tuning approaches based on heuristic rules, multi-armed bandits, and single-agent RL, but also being capable of generalizing to different problem classes. Furthermore, we release the environments in this paper as a benchmark for testing MARL algorithms, with the hope of facilitating the application of MARL.

研究の動機と目的

• 単一エージェント動的アルゴリズム設定（DAC）が困難とする、複雑なアルゴリズムにおける複数の非一様なハイパーパrameterを動的にチューニングする課題に対処すること。
• 共同ハイパーパrameterチューニング問題を協調的文脈付きマルチエージェントマルコフ決定過程（MMDP）として定式化すること。
• 複数のハイパーパrameterタイプをサポートするスケーラブルで一般化可能な動的アルゴリズム設定の解決策を開発すること。
• 実世界の多目的最適化アルゴリズム（MOEA/D）において、提案手法の有効性と一般化能力を実証すること。
• MOEA/Dの設定に基づくマルチエージェント強化学習（MARL）向けの新しいベンチマーク環境をリリースすること。

提案手法

• 複数のハイパーパラメータタイプを有するアルゴリズムの動的設定を、各エージェントが1つのハイパーパラメータタイプを制御する文脈付きマルチエージェントMDP（MMDP）としてモデル化する。
• 共同MARLアルゴリズム（具体的には値分解ネットワーク（VDN））を用いて、共有のチーム報酬を最大化する共同方策を学習する。
• アルゴリズム実行の進行状況とパフォーマンス履歴（例：目的関数値の変化）に基づいて状態表現を定義する。
• 各エージェントの行動空間を、特定のハイパーパラメータ（例：重み、近傍サイズ、演算子タイプ）の離散的または連続的設定に対応させる。
• アルゴリズムのパフォーマンスに基づくスパarsまたは形状化された報酬を用いて、深層強化学習によりマルチエージェント方策をエンドツーエンドで訓練する。
• MOEA/Dにフレームワークを適用し、重みベクトル、近傍サイズ、再結合演算子タイプ、および演算子固有のパrameterの4つの異なるハイパーパラメータタイプをチューニングする。

実験結果

リサーチクエスチョン

• RQ1 マルチエージェントRLアプローチは、複雑なアルゴリズムにおける複数の非一様なハイパーパラメータタイプを効果的かつ協調的にチューニングできるか？
• RQ2 MA-DACは多目的最適化における異なる問題インスタンスや目的数にわたって一般化できるか？
• RQ3 MA-DACはヒューリスティックルール、マルチアームバンディット、単一エージェントRLのベースラインと比較して性能に優れているか？
• RQ4 各個々のハイパーパラメータタイプが全体のアルゴリズムパフォーマンスに果たす寄与度は何か？
• RQ5 提案されたフレームワークは、MARLアルゴリズムの評価のための再利用可能なベンチマークとして機能できるか？

主な発見

• MA-DACは、多目的最適化問題における収束速度と最終的な解の質において、ヒューリスティックルールベースの手法、マルチアームバンディット、単一エージェントRLのベースラインを顕著に上回った。
• 学習されたMA-DAC方策は、同じ目的数（内側クラス）の異なるインスタンス、および異なる目的数（外側クラス）にわたって効果的に一般化され、優れた転送性を示した。
• アブレーションスタディにより、重み、近傍サイズ、演算子タイプ、および演算子パラメータの4つのハイパーパラメータタイプをすべてチューニングすることが最適パフォーマンスを達成するために不可欠であることが確認された。
• 提案手法は、静的および単一エージェント動的設定アプローチと比較して、収束性とハイパーボリュームの向上において優れた性能を達成した。
• 著者らは、MARLの研究を促進するため、MOEA/Dの設定環境をベンチマークとしてリリースした。
• このフレームワークは、ハイパーパラメータタイプの多様性と進化的探索の確率的性質を効果的に処理でき、実世界のアルゴリズム設定に適している。