[論文レビュー] Two Views on Multiple Mean-Payoff Objectives in Markov Decision Processes

Tomǎš Brázdil, Václav Brožek+3 more|arXiv (Cornell University)|Apr 18, 2011

Supply Chain and Inventory Management被引用数 45

ひとこと要約

本稿は、マルコフ決定過程（MDP）における複数の平均報酬目的関数について、順序付き最適化とパレート最適化の二つの視点から分析を行う。順序付き最適化は強い公平性と最良のトレードオフを保証するが、パレート最適化は特定の条件下で最適解を導けないことが示され、複数の目的関数下での方策選択における根本的な構造的差異が明らかになった。

ABSTRACT

is permitted for educational or research use on condition that this copyright notice is included in any copy. Publications in the FI MU Report Series are in general accessible via WWW:

研究の動機と目的

• MDPにおける複数の平均報酬目的関数の文脈において、順序付き最適化とパレート最適化の理論的・実用的差異を分析すること。
• パレート最適な方策が、MDPにおける複数の目的関数において一貫して最良のトレードオフを達成できるかを調査すること。
• 順序付き最適化が公平性および長期的パフォーマンスの観点でパレート最適化を上回る条件を特定すること。
• 両者の最適化視点下での方策空間の構造的差異、特に達成可能な平均報酬ベクトルの観点から明確にすること。
• 各最適化フレームワーク下で最適方策が存在する条件の形式的特徴付けと、それらの関係を明らかにすること。

提案手法

• 本稿は、目的を固定順序で優先する順序付き最適化と、支配されない方策結果を求めるパレート最適化の二つの明確に異なる最適化フレームワークを形式化する。
• 複数の平均報酬目的関数を有するMDPの形式的モデルを導入し、与えられた方策下での各目的関数の期待長期平均報酬を定義する。
• ゲーム理論的および確率的技法を用いて、両最適化基準下での達成可能な平均報酬ベクトルの集合を比較分析する。
• MDPの構造的性質（特に順序付き最適化下でのメモリレス最適方策の存在）を用いて、主要な理論的結果を導出する。
• パレート最適な方策が、順序付き最適方策と比較して最適なトレードオフを達成できない場合があることを示す反例を構築する。
• 順序付き最適化では特定の条件下で一意な最適方策が保証される一方、パレート最適化では複数の比較不能な解が得られることが示された。

実験結果

リサーチクエスチョン

• RQ1 パレート最適な方策は、MDPにおける複数の平均報酬目的関数において一貫して最良のトレードオフを達成できるか？
• RQ2 MDPにおける順序付き最適化とパレート最適化の間で、達成可能な平均報酬ベクトルの集合はどのように異なるか？
• RQ3 順序付き最適化がパレート最適化を上回る厳密な性能を示す条件は何か？
• RQ4 なぜパレート最適化が多目的MDPにおいて最良の可能な方策を特定できないのか、構造的根拠はあるか？
• RQ5 各最適化視点下で、メモリレス方策と最適解の関係は何か？

主な発見

• 標準的なMDPの仮定下では、順序付き最適化は一意な最適方策を保証し、目的間の一貫性と公平性のあるトレードオフを実現する。
• パレート最適化は複数の比較不能な方策を生じさせることができ、その一部は全体的なパフォーマンスにおいて順序付き最適解に厳密に支配されることがある。
• パレート最適な方策が、順序付き最適方策と同等またはそれ以上のパフォーマンスをすべての目的関数で達成できないMDPの例が存在する。
• 本稿は、パレート最適であっても順序付き最適でない方策が存在することを示す反例を構築し、パレートアプローチの根本的限界を浮き彫りにした。
• 順序付き最適化下では、メモリレス方策が最適な平均報酬ベクトルを達成するのに十分であり、計算の tractability を保証する。
• 結果として、最適化フレームワークの選択が達成可能な解の集合に顕著な影響を及ぼすことが示され、公平性および最適性の観点で順序付き最適化がより強い保証を提供することが明らかになった。