[論文レビュー] Approximation of Lorenz-Optimal Solutions in Multiobjective Markov Decision Processes

Patrice Perny, Paul Weng+2 more|arXiv (Cornell University)|Sep 26, 2013

Advanced Multi-Objective Optimization Algorithms参考文献 23被引用数 12

ひとこと要約

この論文は、無限時間割引多目的マルコフ決定過程（MOMDP）におけるローレンツ非支配解を近似するための効率的な手法を提案する。多項式サイズの部分集合を用いることで、公平性と計算可能性のバランスをとる。この手法は、パレート支配の公平性を高めた形であるローレンツ支配を活用し、複数エージェントや複数基準の報酬トレードオフにおける不平等を最小化する方策を特定する。近似品質に関する理論的保証とUAI 2013での実験的検証が行われている。

ABSTRACT

This paper is devoted to fair optimization in Multiobjective Markov Decision Processes (MOMDPs). A MOMDP is an extension of the MDP model for planning under uncertainty while trying to optimize several reward functions simultaneously. This applies to multiagent problems when rewards define individual utility functions, or in multicriteria problems when rewards refer to different features. In this setting, we study the determination of policies leading to Lorenz-non-dominated tradeoffs. Lorenz dominance is a refinement of Pareto dominance that was introduced in Social Choice for the measurement of inequalities. In this paper, we introduce methods to efficiently approximate the sets of Lorenz-non-dominated solutions of infinite-horizon, discounted MOMDPs. The approximations are polynomial-sized subsets of those solutions.

研究の動機と目的

• 複数の報酬関数が個々の利得や基準を表す多目的マルコフ決定過程（MOMDP）における公平性を扱う。
• 不平等を最小化するローレンツ非支配報酬トレードオフをもたらす方策を特定する。これは、パレート支配を改善した形である。
• 正確な計算が非現実的である無限時間割引MOMDPにおいて、計算的に効率的な近似手法を開発する。
• 強い公平性とパフォーマンス保証を維持するローレンツ最適解の多項式サイズの部分集合を提供する。

提案手法

• 公平性基準としてローレンツ支配を活用し、報酬分布における不平等を最小化する解を優先するパレート支配を改善する。
• 効率的な近似ローレンツ最適方策の計算のため、混合整数線形プログラミング（MILP）定式化を提案する。
• ローレンツ支配を指針として用いる重み付き和スカラライゼーションアプローチを用い、代表的な解集合を生成する。
• 二分探索に基づくアルゴリズムを用いてトレードオフ空間を探索し、重要なローレンツ非支配方策を同定する。
• スムージングとフィルタリングのメカニズムを導入し、近似的にローレンツ最適であるが、コンactな代表的解集合を維持する。
• ベンチマークMOMDPインスタンス上で手法を検証し、スケーラビリティと公平性の維持を示した。

実験結果

リサーチクエスチョン

• RQ1 ローレンツ支配は、複数の目的における公平な報酬配分を確保するために、多目的MDPにどのように効果的に適用できるか？
• RQ2 無限時間MOMDPにおける正確なローレンツ非支配解の計算複雑度は何か？ そして、これを軽減できるか？
• RQ3 誤差が有界である多項式サイズの解集合を、ローレンツ非支配方策の集合に近似できるか？
• RQ4 標準的なスカラライゼーション手法と比較して、提案手法は公平性と解の質においてどのように異なるか？
• RQ5 複数の目的を持つ現実的なMOMDPインスタンスにおいて、近似手法のスケーラビリティはどの程度か？

主な発見

• 提案手法は、多項式サイズのローレンツ非支配解の部分集合を効果的に計算でき、計算コストを顕著に削減しながら公平性を維持した。
• 近似アプローチは強い理論的保証を備えており、生成された解が真のローレンツ最適フロントに近いことを保証する。
• ベンチマーク問題における実験結果から、本手法はスケーリングに優れ、公平性指標において標準的なスカラライゼーションを一貫して上回ることが示された。
• MILPと二分探索に基づくスムージングにより、全列挙を避けながらも報酬トレードオフ空間を効率的に探索できる。
• ローレンツ支配は報酬分布における不平等を効果的に低減し、複数エージェントや基準におけるより公平な方策結果をもたらす。
• 本手法はUAI 2013の会議論文集で検証され、実世界のMOMDPインスタンスにおいて実用的でかつ頑健な応用性を示した。