[논문 리뷰] Tolling for Constraint Satisfaction in Markov Decision Process Congestion Games

Sarah H. Q. Li, Yue Yu외 3명|arXiv (Cornell University)|2019. 03. 02.

Transportation and Mobility Innovations참고 문헌 35인용 수 11

한 줄 요약

이 논문은 마코프 결정 과정 혼잡 게임(MDPCGs)에서 인구 균형을 원하는 제약 조건이나 향상된 사회적 복지를 향해 이끌기 위해 요금 체계를 제안한다. 인구 질량 제약 조건에서의 이중 변수를 통해 보상 값을 수정함으로써, 이 방법은 워드롭 균형을 도심 지역의 최소 운전자 밀도를 충족시키거나 사회적 생산을 극대화하도록 이동시킨다. 시애틀 라이드셰어 시뮬레이션을 통해 200개의 제약 조건만으로도 사회적 복지 격차가 5% 감소하는 것으로 입증되었다.

ABSTRACT

Markov decision process (MDP) congestion game is an extension of classic congestion games, where a continuous population of selfish agents solves Markov decision processes with congestion: the payoff of a strategy decreases as more population uses it. We draw parallels between key concepts from capacitated congestion games and MDP. In particular, we show that population mass constraints in MDP congestion games are equivalent to imposing tolls/incentives on the reward function, which can be utilized by social planners to achieve auxiliary objectives. We demonstrate such methods in a simulated Seattle ride-share model, where tolls and incentives are enforced for two separate objectives: to guarantee minimum driver density in downtown Seattle, and to shift the game equilibrium towards a maximum social output.

연구 동기 및 목표

• 개인적 이득을 최적화하는 자율적 에이전트 행동으로 인한 비효율성을 해소하기 위해 도시 이동 네트워크에서의 행동을 다루기 위해.
• 에이전트 행동에 직접적인 통제 없이도 사회 계획자가 인구 질량 제약 조건(예: 고수요 지역의 최소 운전자 밀도)을 이행할 수 있도록 하기 위해.
• 제약 조건 기반 요금 체계를 사용하여 혼잡 게임에서 균형을 사회적으로 최적의 결과로 이동시킴으로써 사회적 복지를 향상시키기 위해.
• 실시간 또는 적응형 구현을 위해 프랭크-울프와 이중성 기반의 계산적으로 타당한 incetive 설계 프레임워크를 개발하기 위해.
• 동적 수요와 확률적 전이가 존재하는 현실적인 라이드셰어 시나리오에서 이 방법의 효과성을 입증하기 위해.

제안 방법

• 보상 값이 인구 질량에 따라 달라지는 엄격히 감소하는 보상 함수 ℓtsa(ytsa)를 사용하여 MDPCGs를 잠재 게임으로 수식화한다.
• 제약 조건 최적화에서 유도된 이중 변수 τ⋆ts를 사용하여 인위적 요금을 생성하고, 보상 함수를 r̄tsa(y) = ℓtsa(ytsa) + τ⋆ts로 수정한다.
• 수치적으로 수정된 보상 하에서 균형을 구하기 위해 프랭크-울프 알고리즘을 적용하며, 이는 반복적 정책 업데이트로 온라인 해석이 가능하다.
• ∑a ytsa ≥ c 형태의 제약 조건(예: 벨타운에서 최소 10명의 운전자)을 정의하고, KKT 조건을 통해 해당 제약 조건에 대응하는 요금을 유도한다.
• 알고리즘 4를 사용하여 상태-행동 분포의 상한 및 하한을 생성함으로써 사회 최적성을 근사하는 제약 조건의 집합을 만든다.
• CVXPY를 사용한 최적화와 알고리즘 3를 사용한 에이전트 행동 시뮬레이션을 통해 시뮬레이션을 통해 방법을 검증한다.

실험 결과

연구 질문

• RQ1 MDPCGs에서 제약 조건 기반 요금 체계가 라이드셰어의 특정 상태(예: 중심가 지역)에서 최소 인구 질량을 효과적으로 이행할 수 있는가?
• RQ2 사회 계획자가 에이전트 전략에 직접적인 통제 없이 보상 값 수정을 통해 워드롭 균형을 사회적으로 최적의 결과로 이동시킬 수 있는가?
• RQ3 도입된 제약 조건의 수와 그로 인한 사회적 복지 향상 사이의 트레이드오프는 어떠한가?
• RQ4 요금의 크기와 부호는 제약 조건의 농도와 시스템 역학에 따라 어떻게 변화하는가?
• RQ5 제약 조건에 기인한 보상 값 수정 하에서 프랭크-울프 방법이 효율적으로 균형에 수렴하는가?

주요 결과

• 벨타운(상태 7)에서 최소 운전자 밀도 제약 조건(10명)을 적용함으로써 해당 지역의 인구 질량이 성공적으로 증가했으며, 이 효과는 카피틀 힐(상태 2)과 같은 인근 지역으로까지 확산되었다.
• 프랭크-울프 알고리즘이 근사 오차 허용 범위 ϵ이 감소함에 따라 워드롭 균형으로 수렴하였으며, 600회 반복 후 ‖yϵ − y⋆‖₂ / ‖y⋆‖₂ 가 10⁻³ 수준으로 감소하였다.
• 단지 200개의 제약 조건만으로도 사용자가 선택한 균형과 사회 최적 상태 사이의 격차가 가능한 최대 사회적 복지의 5% 미만으로 줄어들었다.
• 요금 값은 시간당 −0.05에서 0.05 사이를 오갔으며, 요금 수익(net revenue, hnet)은 제약 조건 수가 증가함에 따라 증가하여 여유 수익의 재분배가 활발히 이루어지고 있음을 시사했다.
• 최소한의 제약 조건 수로 근사 최적 사회적 복지를 달성하였으며, 이는 혼잡도에 영향을 받지 않는 요금 체계가 전통적인 혼잡도 기반 세금보다 뛰어난 성능을 낼 수 있음을 보여주었다.