[논문 리뷰] Payoff-based Inhomogeneous Partially Irrational Play for Potential Game Theoretic Cooperative Control of Multi-agent Systems

Tatsuhiko Goto, Takeshi Hatanaka외 1명|arXiv (Cornell University)|2011. 07. 25.

Distributed Control Multi-Agent Systems참고 문헌 22인용 수 8

한 줄 요약

이 논문은 다중 에이전트 시스템을 위한 새로운 학습 알고리즘인 보상 기반 비균일한 부분적으로 비합리적 행동(Payoff-based Inhomogeneous Partially Irrational Play, PIPIP)을 제안한다. 이 알고리즘은 잠재 게임에서 최적의 내쉬 균형으로의 확률적 수렴을 가능하게 하며, 하위최적 균형에서 벗어나기 위해 통제된 확률로 비합리적인 행동 선택(낮은 유용도의 과거 행동 선택)을 도입한다. 이로 인해 기존의 보상 기반 방법인 DISL과 비교해 센서 커버리지 작업에서 뛰어난 성능과 동적 환경에 대한 적응성을 확보한다.

ABSTRACT

This paper handles a kind of strategic game called potential games and develops a novel learning algorithm Payoff-based Inhomogeneous Partially Irrational Play (PIPIP). The present algorithm is based on Distributed Inhomogeneous Synchronous Learning (DISL) presented in an existing work but, unlike DISL,PIPIP allows agents to make irrational decisions with a specified probability, i.e. agents can choose an action with a low utility from the past actions stored in the memory. Due to the irrational decisions, we can prove convergence in probability of collective actions to potential function maximizers. Finally, we demonstrate the effectiveness of the present algorithm through experiments on a sensor coverage problem. It is revealed through the demonstration that the present learning algorithm successfully leads agents to around potential function maximizers even in the presence of undesirable Nash equilibria. We also see through the experiment with a moving density function that PIPIP has adaptability to environmental changes.

연구 동기 및 목표

• 기존의 보상 기반 학습 알고리즘이 순수 내쉬 균형 중에서도 최적의 것만 수렴하지 못하는 한계를 해결하기 위해.
• 유한한 메모리와 보상 기반 동작를 유지하면서도 바람직하지 않은 내쉬 균형에서 벗어나도록 하는 학습 알고리즘을 개발하기 위해.
• 다른 에이전트의 행동에 대한 완전한 정보가 없이도 잠재 함수 최대화자—즉, 최적 내쉬 균형—로의 확률적 수렴을 보장하기 위해.
• 환경 변화, 예를 들어 센서 커버리지 문제에서의 이동 밀도 함수와 같은 변화에 대한 알고리즘의 적응성을 입증하기 위해.
• 부정확한 사전 지식과 동적 조건 하에서 다중 에이전트 시스템의 협동 제어를 위한 실용적이고 확장 가능한 해결책을 제공하기 위해.

제안 방법

• PIPIP는 DISL 알고리즘을 확장하여, 고정된 확률 ε로 비합리적인 결정 규칙을 도입한다: 에이전트는 과거 두 번째 행동 중에서 낮은 유용도의 행동도 포함해 확률적으로 선택한다.
• 행동 선택 규칙은 과거 보상의 가중 조합에 기반하며, 과거 행동을 선택할 확률은 다른 행동 대비 그 행동의 유용도에 따라 결정된다.
• 알고리즘은 이산적이고 동기식 시간 단위로 작동하며, 각 에이전트는 자신의 관측된 보상과 과거 두 번의 행동에 대한 유한한 기억만을 기반으로 행동을 업데이트한다.
• 알고리즘의 비균일성 덕분에 각 에이전트는 개별적인 보상 이력에 따라 다른 행동 선택 행동을 가질 수 있다.
• 비합리적 선택이 유도하는 탐색을 활용하여 확률적 안정성 분석을 통해 잠재 함수 최대화자로의 수렴을 증명한다.
• 이 방법은 에이전트가 공간적 잠재 함수(작업 중요도를 나타냄)를 최대화하도록 자율적으로 조직화해야 하는 센서 커버리지 문제에 적용된다.

실험 결과

연구 질문

• RQ1 유한한 메모리와 함께 작동하는 보상 기반 학습 알고리즘은 바람직하지 않은 내쉬 균형에서 벗어나 잠재 게임에서 최적 균형으로 수렴할 수 있는가?
• RQ2 통제된 비합리적 행동 선택 확률을 도입할 경우, 다중 에이전트 협동 제어에서 최적 해로의 수렴에 어떤 영향을 미치는가?
• RQ3 이러한 학습 알고리즘은 센서 커버리지 작업에서의 이동 밀도 함수와 같은 환경 변화에 얼마나 잘 적응할 수 있는가?
• RQ4 제안된 알고리즘은 DISL과 같은 기존의 보상 기반 방법에 비해 최적 구성으로의 수렴성과 장애물에 대한 강건성 면에서 뛰어나게 되는가?
• RQ5 탐색률 ε는 학습 과정의 성능와 안정성에 어떤 영향을 미치는가?

주요 결과

• 장애물로 인해 하위최적 내쉬 균형이 발생하는 센서 커버리지 문제에서도 PIPIP는 에이전트가 잠재 함수 최대화자 근처의 구성으로 수렴시키는 데 성공했다.
• ε = 0.15 실험에서 PIPIP는 DISL보다 더 높은 평균 잠재 함수 값을 확보하여 바람직하지 않은 균형에서의 탈출 능력이 뛰어나다는 것을 입증했다.
• ε = 0.3일 경우, 탐색이 증가했음에도 불구하고 PIPIP는 높은 성능 유지를 유지하며 동적 환경에서의 내구성과 적응성을 보였다.
• 알고리즘은 임무 공간이나 밀도 함수에 대한 사전 지식 없이도 장애물을 피하고 높은 중요도 영역으로 수렴하도록 했다.
• 이동 밀도 실험에서는 PIPIP가 시간이 지남에 따라 근사 최적의 잠재 함수 수준을 유지하며 환경 변화에 대한 적응성을 확인했다.
• 결과적으로, 적절히 제어된 비합리적 결정은 결정론적 또는 순수한 합리적 학습 규칙에 비해 최적 균형으로의 수렴을 크게 향상시킨다는 것이 확인되었다.