[論文レビュー] Linearly Solvable Mean-Field Traffic Routing Games

Takashi Tanaka, Ehsan Nekouei+2 more|arXiv (Cornell University)|Mar 4, 2019

Transportation Planning and Optimization参考文献 41被引用数 4

ひとこと要約

本稿では、ルート利用の対数に比例する線形的コストを伴う平均場交通ルーティングゲームを導入する。後向きのみの線形系の解法を活用することで、時間に整合性の強い正確な平均場均衡を計算可能とし、平均場ゲームにおける標準的な前向き・後向きHJB-FPK手法とは対照的に、計算的に効率的な代替手法を提供する。

ABSTRACT

We consider a dynamic traffic routing game over an urban road network involving a large number of drivers in which each driver selecting a particular route is subject to a penalty that is affine in the logarithm of the number of drivers selecting the same route. We show that the mean-field approximation of such a game leads to the so-called linearly solvable Markov decision process, implying that its mean-field equilibrium (MFE) can be found simply by solving a finite-dimensional linear system backward in time. Based on this backward-only characterization, it is further shown that the obtained MFE has the notable property of strong time-consistency. A connection between the obtained MFE and a particular class of fictitious play is also discussed.

研究の動機と目的

• 大規模集団の動的交通ルーティングを、ルート利用の対数に線形的に依存する混雑コストを伴う平均場ゲームとしてモデル化すること。
• このクラスのゲームが線形可解構造を有することを示し、効率的な均衡計算を可能にすること。
• 後向きのみの計算によって、平均場均衡の強い時間整合性を確立すること。
• 導出された均衡と大規模集団設定における仮想的反復（fictitious play）ダイナミクスとの関係を明らかにすること。

提案手法

• ドライバーがネットワーク上で確率的方策に基づいてルートを選択する離散時間確率的動的ゲームを定式化する。
• コスト関数を、同じルートを利用しているドライバー数の対数のアフィン関数としてモデル化し、混雑ペナルティを表現する。
• 個々のドライバーの動的行動を平均場近似によって分離しつつ、コストの結合性を維持する。
• 平均場均衡（MFE）が、後向きにのみ解ける線形可解マルコフ決定過程（LS-MDP）を満たすことを示し、後向き行列乗算のみで解けることを示す。
• 時間整合性を保証する後向きのみの特徴付けを導出する。
• 漸近的解析を通じて、MFEと特定のクラスの仮想的反復ダイナミクスとの関係を確立する。

実験結果

リサーチクエスチョン

• RQ1 対数的混雑コストを伴う平均場交通ルーティングゲームは、線形可解性を用いて効率的に解けるか？
• RQ2 LS-MDPフレームワークの後向きのみの解法は、時間に整合性のある平均場均衡をもたらすか？
• RQ3 導出されたMFEは、大規模集団設定における仮想的反復とはどのように関係するか？
• RQ4 ドライバー数が無限大に近づく際のNプレーヤーゲームの極限的挙動は何か？
• RQ5 前向き・後向きHJB-FPK系を解かずに平均場均衡を特徴付けられるか？

主な発見

• 平均場均衡は、時間に逆向きに有限次元線形系を解くことで計算可能であり、反復的前向き・後向きソルバーの必要がなくなる。
• 解は、HJB-FPK系から導かれる標準的なMFEよりも強い時間整合性を示す。
• 均衡が有限Nゲームにおける対称ナッシュ均衡の極限として得られることを示し、収束速度δ_N → 0である。
• 有限Nの単一段階ゲームには一意の対称均衡が存在し、KKT条件および単調関数の中間値定理を用いて証明される。
• MFEは漸近的に仮想的反復プロセスと同等であることが示され、大規模集団における学習ダイナミクスと関連づけられる。
• 計算上の利点は顕著であり、後向き行列乗算のみが必要であり、大規模ネットワークにおけるスケーラブルな計算を可能にする。