[논문 리뷰] Dynamic Potential Games in Communications: Fundamentals and Applications

Santiago Zazo, Sergio Valcárcel Macua외 2명|arXiv (Cornell University)|2015. 09. 04.

Network Traffic and Congestion Control참고 문헌 20인용 수 6

한 줄 요약

이 논문은 통신 분야의 비협력적이고 시간에 따라 변화하는 다중 에이전트 문제를 통합적으로 해결하기 위한 제약 조건이 있는 동적 잠재력 게임(DPGs)을 제안한다. 해를 단일 다변수 최적 제어 문제(MOCP)로 공식화함으로써, 스마트 그라이드, 배터리 제약이 있는 릴레이, 동적 스케줄링과 같은 복잡한 시나리오에서 비정상적이고 제약 조건이 있는 환경에서도 균형을 효율적으로 계산할 수 있다.

ABSTRACT

In a noncooperative dynamic game, multiple agents operating in a changing environment aim to optimize their utilities over an infinite time horizon. Time-varying environments allow to model more realistic scenarios (e.g., mobile devices equipped with batteries, wireless communications over a fading channel, etc.). However, solving a dynamic game is a difficult task that requires dealing with multiple coupled optimal control problems. We focus our analysis on a class of problems, named extit{dynamic potential games}, whose solution can be found through a single multivariate optimal control problem. Our analysis generalizes previous studies by considering that the set of environment's states and the set of players' actions are constrained, as it is required by most of the applications. And the theoretical results are the natural extension of the analysis for static potential games. We apply the analysis and provide numerical methods to solve four key example problems, with different features each: energy demand control in a smart-grid network, network flow optimization in which the relays have bounded link capacity and limited battery life, uplink multiple access communication with users that have to optimize the use of their batteries, and two optimal scheduling games with nonstationary channels.

연구 동기 및 목표

• 실제 통신 응용 분야에서 필수적인 상태 및 행동 집합에 대한 명시적 제약 조건을 포함시켜 동적 잠재력 게임 이론을 확장하는 것.
• 시간에 따라 변화하는 동역학을 갖는 네트워크에서 다양한 동적 자원 할당 문제의 분석을 통합하는 일반적 프레임워크를 제공하는 것.
• 제약 조건이 있는 DPG가 단일 다변수 최적 제어 문제(MOCP)로 해결될 수 있음을 보여주어, 결합된 최적 제어 문제를 푸는 데 비해 분석을 단순화하는 것.
• 스마트 그라이드 수요 제어, 배터리 제약이 있는 네트워크 흐름, 에너지 제약이 있는 업링크 다중접근, 비정상적 스케줄링과 같은 네 가지 핵심 통신 문제에 프레임워크를 검증하는 것.
• 부완전 정보 및 확률적 환경으로의 확장을 탐색하여, POMDP 및 강화 학습 분야의 향후 연구 방향을 제시하는 것.

제안 방법

• 이산 시간 결정론적 동역학 시스템을 사용하여 시간에 따라 변화하고 비정상적인 동역학, 상태 및 행동 집합에 대한 제약 조건이 있는 동적 잠재력 게임을 수식화하는 것.
• 단일 다변수 최적 제어 문제(MOCP)를 통해 해의 존재를 보장하는 잠재 함수를 도입하여, 복수의 결합된 최적 제어 문제를 풀 필요 없이 해결하는 것.
• 비감소 형태의 MOCP에 대해 푸앵카르의 최대 원리를 적용하여 필요한 최적성 조건을 유도함으로써, 행동이 상태 전이에서 분리될 수 없는 경우에도 분석이 가능하도록 하는 것.
• 가치 반복 및 정책 반복 알고리즘을 사용하여 MOCP를 수치적으로 해결하며, 분리된 제약 조건과 공유되는 상태 성분이 있을 경우 수렴이 보장됨을 보장하는 것.
• 가치 함수 및 정책 함수를 계산하기 위한 중심화된 알고리즘(예: 알고리즘 1)을 설계하고, 제약 조건이 분리되어 있을 경우 분산 구현에 대한 논의를 포함하는 것.
• 사례 연구 네 가지에 프레임워크를 적용: 스마트 그라이드 에너지 제어, 용량 및 배터리 제약이 있는 릴레이 네트워크 흐름, 배터리 제약이 있는 업링크 다중접근, 비정상적 스케줄링(비례 공정성 및 동일 비율 목표)

실험 결과

연구 질문

• RQ1 실제 통신 시스템에서 흔한 상태 및 행동 집합에 대한 제약 조건을 포함시켜 동적 잠재력 게임을 어떻게 일반화할 수 있는가?
• RQ2 비정상적인 동역학과 제약 조건을 갖는 동적 게임이 동적 잠재력 게임으로 간주될 수 있는 조건은 무엇인가?
• RQ3 제약 조건이 있는 동적 잠재력 게임의 해가 단일 다변수 최적 제어 문제(MOCP)로 축소될 수 있는가? 이는 결합된 최적 제어 문제를 푸는 것과 비교해 분석을 어떻게 단순화하는가?
• RQ4 비정상적 채널을 갖는 스마트 그라이드 수요 제어, 배터리 제약이 있는 릴레이, 동적 스케줄링과 같은 실세계 통신 시나리오에서 제안된 프레임워크의 성능은 어떠한가?
• RQ5 분산 구현 및 부완전 정보 또는 확률적 환경으로의 확장에 대한 영향은 무엇인가?

주요 결과

• 제안된 프레임워크는 제약 조건이 있는 동적 잠재력 게임을 단일 다변수 최적 제어 문제(MOCP)로 성공적으로 공식화하여, 표준 최적 제어 기법을 통해 효율적인 해를 도출할 수 있다.
• 수치적 결과는 비율 공정 스케줄링 문제에서 두 사용자가 서로 다른 채널 이득을 가짐에도 불구하고 근사적으로 최대 평균 속도를 달성함을 보여주며, 전력 할당이 공정성 제약에 적응함을 시사한다.
• 동일 비율 스케줄링 문제에서는 사용자 1이 더 좋은 채널을 가짐에도 불구하고 전송 전력과 평균 속도를 감소시켜 사용자 2의 성능과 일치시키며, 효과적인 공정성 시행을 보여준다.
• 프레임워크는 볼록 및 비볼록 목표 함수 모두를 지원하며, 볼록 최적화 및 동적 프로그래밍을 통해 해를 도출하며, 분리된 제약 조건이 있는 문제에서 수렴이 입증된다.
• 에이전트가 고유한 상태 성분과 분리된 제약 조건을 갖는 경우, 가치 반복 및 정책 반복의 분산 구현이 가능하여 탈중앙화 운영이 가능하다.
• 적절한 수정이 가미될 경우, 프레임워크는 확률적 환경 및 부분 관측 가능 설정(POMDP)으로 확장 가능하며, 강화 학습 및 근사 동적 프로그래밍에 적응 가능하다.