[논문 리뷰] Constrained Multiagent Rollout and Multidimensional Assignment with the Auction Algorithm

Dimitri P. Bertsekas|arXiv (Cornell University)|2020. 02. 18.

Auction Theory and Applications인용 수 6

한 줄 요약

이 논문은 결합된 제어를 가진 조합 최적화 문제를 위한 제약 조건이 있는 다에이전트 롤아웃 알고리즘을 제안한다. 경매 알고리즘을 기본 휴리스틱으로 사용하여 비용 향상을 달성한다. 롤아웃 방법이 탇합성을 유지하고 기본 휴리스틱의 해를 초월함을 보여주며, 계층적인 공간-시간 구조를 가진 다차원 할당 문제에 특히 효과적임을 입증한다.

ABSTRACT

We consider an extension of the rollout algorithm that applies to constrained deterministic dynamic programming, including challenging combinatorial optimization problems. The algorithm relies on a suboptimal policy, called base heuristic. Under suitable assumptions, we show that if the base heuristic produces a feasible solution, the rollout algorithm has a cost improvement property: it produces a feasible solution, whose cost is no worse than the base heuristic's cost. We then focus on multiagent problems, where the control at each stage consists of multiple components (one per agent), which are coupled either through the cost function or the constraints or both. We show that the cost improvement property is maintained with an alternative implementation that has greatly reduced computational requirements, and makes possible the use of rollout in problems with many agents. We demonstrate this alternative algorithm by applying it to layered graph problems that involve both a spatial and a temporal structure. We consider in some detail a prominent example of such problems: multidimensional assignment, where we use the auction algorithm for 2-dimensional assignment as a base heuristic. This auction algorithm is particularly well-suited for our context, because through the use of prices, it can advantageously use the solution of an assignment problem as a starting point for solving other related assignment problems, and this can greatly speed up the execution of the rollout algorithm.

연구 동기 및 목표

• 다수의 에이전트와 결합된 제어를 가진 제약 조건이 있는 결정론적 동적 프로그래밍 문제를 해결하는 데 도전하는 것.
• 대규모 다에이전트 시스템에서 계산 복잡도를 감소시키면서도 비용 향상 성질을 유지하는 효율적인 롤아웃 알고리즘을 개발하는 것.
• 공간적 및 시간적 구조를 가진 계층적 그래프 문제, 특히 다차원 할당 문제에 이 방법을 적용하는 것.
• 유사한 2차원 할당 문제들 간에 해를 재사용할 수 있는 경매 알고리즘의 능력을 활용하여 롤아웃 계산을 가속화하는 것.
• 복잡한 결합 제약 조건 하에서도 롤아웃 알고리즘이 기본 휴리스틱의 해보다 비용이 더 나쁘지 않은 타당한 해를 생성함을 입증하는 것.

제안 방법

• 각 에이전트의 행동이 공동 제어 벡터의 일부인 다에이전트 제어를 가진 제약 조건이 있는 결정론적 동적 프로그래밍에 대해 롤아웃 알고리즘을 확장한다.
• 기본 휴리스틱으로서 2차원 경매 기반 할당을 사용하는 강제 분리 휴리스틱을 사용하여 初기 부분 최적 해를 구한다.
• 마지막 단계에서 시작하여 단계별로 할당을 고정시키는 수정된 롤아웃 절차를 적용하며, 고정된 할당을 반영하기 위해 갱신된 비용을 사용한다.
• 2차원 할당 부분 문제를 해결하기 위해 경매 알고리즘을 활용하며, 가격 변수를 이용해 유사 문제들 간에 온도 조절을 가능하게 한다.
• 한 2차원 할당 문제의 최종 가격을 다음 문제의 초기 가격으로 재사용함으로써 계산 효율성을 확보하여 각 문제의 해결 시간을 단축시킨다.
• 각 롤아웃 단계에서 제약 조건을 강제로 적용하고 고정된 할당을 궤적 전반에 걸쳐 전파함으로써 타당성과 비용 향상 성질을 유지한다.

실험 결과

연구 질문

• RQ1 결합된 제어와 제약 조건이 있는 제약 조건이 있는 다에이전트 동적 프로그래밍 문제에 대해 롤아웃 알고리즘이 적응 가능할 수 있는가?
• RQ2 공간-시간 구조를 가진 다차원 할당 문제에 적용했을 때 롤아웃 방법이 비용 향상 성질을 유지하는가?
• RQ3 경매 알고리즘의 온도 조절 기능이 다차원 할당 문제에서 롤아웃의 계산 비용을 크게 감소시킬 수 있는가?
• RQ4 해의 품질과 계산 시간 측면에서 롤아웃 알고리즘의 성능은 기본 휴리스틱과 비교해 어떻게 되는가?
• RQ5 2차원 할당 문제를 해결하는 데 있어 제안된 롤아웃 알고리즘의 계산 복잡도는 얼마인가?

주요 결과

• 적절한 가정 하에 롤아웃 알고리즘이 비용 향상을 보장한다: 해의 비용은 기본 휴리스틱의 비용보다 나쁘지 않다.
• 기본 휴리스틱이 타당한 해를 생성하더라도 알고리즘이 타당성을 유지하므로 실용적인 사용이 보장된다.
• 3차원 할당 문제의 경우, 롤아웃 방법은 최대 $ m^2 + 1 $ 개의 2차원 할당 문제를 해결한다. 여기서 $ m $ 은 에이전트 또는 일의 수이다.
• 경매 알고리즘을 기본 휴리스틱으로 사용함으로써 한 2차원 할당 문제의 최종 가격을 다음 문제의 시작 가격으로 재사용함으로써 빠른 처리가 가능해진다.
• $(N+1)$차원 할당 문제의 경우, 총 해결된 2차원 할당 문제의 수는 $ (m+1)(N-2) $ 이며, 이는 $ m $ 과 $ N $ 에 대해 다항식이다.
• 기존 롤아웃 구현 대비 계산 요구량이 감소함에 따라 이 방법은 대규모 다에이전트 시스템으로의 확장이 가능하다.