[論文レビュー] A vector minmax problem for controlled Markov chains

Sameer Kamal|arXiv (Cornell University)|Nov 2, 2010

Advanced Wireless Network Optimization参考文献 2被引用数 3

ひとこと要約

本稿では、敵対的摂動下における有限状態の制御付きマルコフ連鎖に対して、2時間スケール制御方式を提案する。ブラックウェル到達可能性を用いて、ベクトル平均報酬が望ましい閉凸集合 $\bar{D}$ にほとんど確実に収束することを保証する。この方式は、定常戦略のための適応的で増加する時間間隔を用い、基本的な2時間スケールの議論を活用することで、敵対的行動にかかわらずロバストな収束を達成する。

ABSTRACT

The problem of controlling a finite state Markov chain in the presence of an adversary so as to ensure desired performance levels for a vector of objectives is cast in the framework of Blackwell approachability. Relying on an elementary two time scale construction a control scheme is proposed which ensures almost sure convergence to the desired set regardless of the adversarial actions.

研究の動機と目的

• 古典的確率的制御理論が不十分となる敵対的摂動下におけるマルコフ決定過程の多目的制御を扱う。
• 繰り返しゲームに既に適用されてきたブラックウェル到達可能性を、ベクトル報酬を持つ制御付きマルコフ連鎖へと拡張する。
• 敵対的行動にかかわらず、実行平均報酬ベクトルが望ましい閉凸集合 $\bar{D}$ にほとんど確実に収束することを保証する制御戦略を開発する。
• 戦略の更新に再生サイクルに依存する従来の戦略とは異なり、動的かつ増加する時間スケールに基づくポリシー更新機構を導入することで、収束速度を向上させる。

提案手法

• 本方式は2時間スケール構成を採用し、プレイヤーが時間の経過とともに増加する時間間隔で定常戦略を採用する。
• 戦略の切り替えは離散時刻 $s_n$ で発生し、その間隔は現在の $\bar{D}$ からの距離に依存する時間スケーリング関数 $t(s_n)$ によって制御される。
• 時間スケーリングは、平均報酬が $\bar{D}$ から遠い場合には期間を延ばし、$\bar{D}$ に近づくにつれて短くすることで、探索と活用のバランスを効率的に実現する。
• 収束の証明は、平均報酬ベクトルの変化率を制御し、$\bar{D}$ に近づくことを保証する基本的な2時間スケール結果に依存する。
• 重要な要素として、最近点射影 $x_{\bar{D}}$ を用いて降下方向を定義し、仮定1における内積条件を満たすようにする。
• 証明では部分列の議論と背理法を用い、実行平均報酬列のすべての極限点が $\bar{D}$ 内にあることを、ほとんど確実な収束のもとで示す。

実験結果

リサーチクエスチョン

• RQ1 ブラックウェル到達可能性は、敵対的摂動とベクトル報酬を持つ制御付きマルコフ連鎖へと拡張可能か？
• RQ2 リターン時間に基づく方式と比較して、制御付きマルコフ連鎖におけるブラックウェル到達可能性の収束をどのように高速化できるか？
• RQ3 リターン時間がまれな状況下でも、目標集合 $\bar{D}$ へのほとんど確実な収束を保証する制御ポリシーの構造は何か？
• RQ4 再生サイクルに依存しない2時間スケール戦略と増加する時間間隔を用いることで、ロバストな収束が達成可能か？

主な発見

• 提案された方式は、敵対的戦略にかかわらず、実行平均報酬ベクトルが望ましい集合 $\bar{D}$ の閉包にほとんど確実に収束することを保証する。
• 標準的なエルゴディシティおよび凸性の仮定のもとで収束が確立され、鍵となる条件は、$\bar{D}$ の外にある任意の点に対して、$\bar{D}$ への降下方向を保証するプレイヤー戦略の存在である。
• 時間スケーリング機構により、初期段階では戦略の持続時間が短く、徐々に延長されるため、効率的な探索と活用が可能になる。
• 証明は、平均報酬の変化率を制御し、列の極限点が $\bar{D}$ 内にあることを保証する2時間スケールの議論に依存する。
• 固定状態へのリターンがまれな場合に依存しないため、大規模またはゆっくり混合するマルコフ連鎖においても収束速度が向上する。
• 敵対的行動が行われる場合でも、ブラックウェル条件（仮定1）が満たされていれば、結果は成り立つ。