[論文レビュー] Constrained Multiagent Rollout and Multidimensional Assignment with the Auction Algorithm

Dimitri P. Bertsekas|arXiv (Cornell University)|Feb 18, 2020

Auction Theory and Applications被引用数 6

ひとこと要約

本稿では、結合制御を伴う組合せ最適化問題に対して、コスト向上を達成するための制約付きマルチエージェントロールアウトアルゴリズムを提案する。オークション法をベースのヒューリスティクスとして用い、解の品質を向上させる。本手法が妥当性を保持し、ベースのヒューリスティクスの解を上回ることを示しており、階層的な空間的・時間的構造を持つ多次元割り当て問題に対して特に有効である。

ABSTRACT

We consider an extension of the rollout algorithm that applies to constrained deterministic dynamic programming, including challenging combinatorial optimization problems. The algorithm relies on a suboptimal policy, called base heuristic. Under suitable assumptions, we show that if the base heuristic produces a feasible solution, the rollout algorithm has a cost improvement property: it produces a feasible solution, whose cost is no worse than the base heuristic's cost. We then focus on multiagent problems, where the control at each stage consists of multiple components (one per agent), which are coupled either through the cost function or the constraints or both. We show that the cost improvement property is maintained with an alternative implementation that has greatly reduced computational requirements, and makes possible the use of rollout in problems with many agents. We demonstrate this alternative algorithm by applying it to layered graph problems that involve both a spatial and a temporal structure. We consider in some detail a prominent example of such problems: multidimensional assignment, where we use the auction algorithm for 2-dimensional assignment as a base heuristic. This auction algorithm is particularly well-suited for our context, because through the use of prices, it can advantageously use the solution of an assignment problem as a starting point for solving other related assignment problems, and this can greatly speed up the execution of the rollout algorithm.

研究の動機と目的

• 複数のエージェントと結合制御を伴う制約付き決定的動的計画問題を解く課題に対処すること。
• 大規模マルチエージェントシステムにおいて、計算複雑性を低減しつつ、コスト改善性を維持する効率的なロールアウトアルゴリズムを開発すること。
• 空間的・時間的構造を持つ階層的グラフ問題、特に多次元割り当て問題に本手法を適用すること。
• オークション法が類似した2次元割り当て問題間で解を再利用できることを活用し、ロールアウト計算を高速化すること。
• 複雑な結合制約のもとでも、ロールアウトアルゴリズムがベースのヒューリスティクスの解より悪いコストの解を出力しないこと、かつ妥当性を保証すること。

提案手法

• 各エージェントの行動が連携制御ベクトルを構成する、マルチエージェント制御を伴う制約付き決定的動的計画問題に、ロールアウトアルゴリズムを拡張する。
• 初期の部分最適解を得るために、具体的には2次元オークションベースの割り当てを用いた強制的分離ヒューリスティクスをベースのヒューリスティクスとして用いる。
• 最終段階から順次段階を固定し、固定された割り当てを反映する更新されたコストを用いて、逆方向に段階的にロールアウト手順を適用する。
• 2次元割り当て部分問題の解法にオークション法を用い、価格変数を活用して類似問題間でのウォームスタートを可能にする。
• 1つの2次元割り当て問題の最終価格を次の問題の初期価格として再利用することで、各問題の解法時間を短縮し、計算効率を確保する。
• 各ロールアウトステップで制約を強制し、固定された割り当てを軌道全体に前向きに伝搬させることで、妥当性とコスト改善性を維持する。

実験結果

リサーチクエスチョン

• RQ1 結合制御と制約を伴う制約付きマルチエージェント動的計画問題に、ロールアウトアルゴリズムを適応可能か？
• RQ2 空間的・時間的構造を持つ多次元割り当て問題に適用した場合、ロールアウト法がコスト改善性を保持するか？
• RQ3 オークション法のウォームスタート機能が、多次元割り当て問題におけるロールアウトの計算コストを顕著に低減できるか？
• RQ4 解の品質と計算時間の観点から、ロールアウトアルゴリズムはベースのヒューリスティクスと比較してどの程度の性能を示すか？
• RQ5 本手法のロールアウトアルゴリズムの計算複雑度は、解かれる2次元割り当て問題の数の観点からどのように定式化されるか？

主な発見

• 適切な仮定のもとで、ロールアウトアルゴリズムはコスト改善を保証する：解のコストはベースのヒューリスティクスのそれより悪くならない。
• ベースのヒューリスティクスが妥当な解を出力する場合でも、本アルゴリズムは妥当性を維持するため、実用的であることが保証される。
• 3次元割り当て問題では、ロールアウト法が解く2次元割り当て問題の数は最大で $ m^2 + 1 $ 個であり、$ m $ はエージェント数またはジョブ数を表す。
• オークション法をベースのヒューリスティクスとして用いることで、1つの2次元割り当て問題の最終価格を次の問題の初期価格として再利用でき、著しい高速化が達成される。
• $(N+1)$ 次元割り当て問題では、解かれる2次元割り当て問題の総数は $ (m+1)(N-2) $ 個であり、$ m $ と $ N $ に対して多項式的である。
• 代替のロールアウト実装による計算要件の低減のおかげで、本手法は大規模マルチエージェントシステムへスケーラブルに適用可能である。