[論文レビュー] Constrained optimization under uncertainty for decision-making problems: Application to Real-Time Strategy games

Valentin Antuori, Florian Richoux|arXiv (Cornell University)|Jan 3, 2019

Constraint Satisfaction and Optimization参考文献 21被引用数 5

ひとこと要約

この論文は、意思決定理論のランク依存効用（RDU）を統合することで、標準的な制約最適化問題（COP）形式内において不確実性を伴う制約付き最適化問題を解くための新規手法を提案する。これにより、新たな形式的定式化やソルバを導入することなく、通常の制約ソルバが不確実性を扱えるようになる。実証的に、部分観測可能な状況下でのユニット生産意思決定にRDUを用いた戦略を採用したボットが2018年µRTS AIコンテストで優勝を果たした。

ABSTRACT

Decision-making problems can be modeled as combinatorial optimization problems with Constraint Programming formalisms such as Constrained Optimization Problems. However, few Constraint Programming formalisms can deal with both optimization and uncertainty at the same time, and none of them are convenient to model problems we tackle in this paper. Here, we propose a way to deal with combinatorial optimization problems under uncertainty within the classical Constrained Optimization Problems formalism by injecting the Rank Dependent Utility from decision theory. We also propose a proof of concept of our method to show it is implementable and can solve concrete decision-making problems using a regular constraint solver, and propose a bot that won the partially observable track of the 2018 {\mu}RTS AI competition. Our result shows it is possible to handle uncertainty with regular Constraint Programming solvers, without having to define a new formalism neither to develop dedicated solvers. This brings new perspective to tackle uncertainty in Constraint Programming.

研究の動機と目的

• 組み合わせ的意思決定問題において、最適化と不確実性を同時に扱える制約プログラミング形式の不足を解消すること。
• 制約には影響しないが、目的関数にのみ不確実性が影響する単一段階の意思決定問題をモデル化すること。
• RDUのような意思決定理論的効用モデルを埋め込むことで、標準COPソルバが不確実性を扱えるようにすること。
• 部分観測可能なµRTSゲーム環境における実用的応用を、競争的なAIボットを用いて示すこと。
• リアルタイムストラテジーにおける不確実性下での意思決定において、RDUに基づく最適化が期待効用やランダム戦略を上回ることを示すこと。

提案手法

• 意思決定理論におけるランク依存効用（RDU）フレームワークを、不確実性下でのCOPにおける解の順序付けに適応する。
• 目的関数を効用得点として用い、RDUの累積確率の重み付けを適用して意思決定結果の順位を付ける。
• 決定問題を、確定的制約とRDU変換済み目的関数を持つ標準COPとしてモデル化する。
• リスク志向性を反映するために、楽観的および悲観的な重み関数（φ）を用いたRDUモデルを適用する。
• 制約ソルバ（GHOST）に実装し、フェイク・オブ・ウォー下でのµRTSにおけるユニット生産戦略を生成する。
• 意思決定は、敵戦略の確率的結果が明らかになる前に行われる非適応的・単一段階の意思決定モデルを採用する。

実験結果

リサーチクエスチョン

• RQ1 標準的なCOP形式を、新たな形式的定式化やソルバを導入せずに、目的関数の不確実性に対処できるように拡張できるか？
• RQ2 部分観測可能なRTSゲームにおいて、RDUに基づく最適化は期待効用やランダム意思決定と比べてどのように異なるか？
• RQ3 RDUを組み込んだCOPベースのアプローチは、不確実性下でのリアルタイムストラテジーAIにおいて、既存手法を上回る性能を示せるか？
• RQ4 リスク志向性（楽観的対悲観的φ）は、短期的ホライズンのRTS意思決定における性能にどのような影響を与えるか？
• RQ5 標準的な制約ソルバと意思決定理論的効用モデルのみを用いて、不確実性を考慮した最適化を実装するのは可能か？

主な発見

• RDUに基づくアプローチは、2018年µRTS AIコンテストの部分観測トラックで、期待効用とランダムユニット生産戦略を上回り、優勝を達成した。
• 小規模マップ（8x8、12x12、16x16）では、悲観的φを用いたRDU法が最高の正規化スコア（59.5）を記録し、期待効用（56.5）とベースライン（52.5）を上回った。
• 大規模マップ（24x24、32x32、64x64）では、楽観的φを用いたRDU法が最良のスコア（81.5）を記録し、ベースライン（76.0）と期待効用（78.5）を大きく上回った。
• 悲観的RDUバージョンは小規模マップで優れた性能を示したが、これは狭い空間内での不利な敵ユニット編成への即時の反応が求められるためと考えられる。
• この手法により、ソルバや形式的定式化を変更することなく、標準COPソルバが不確実性を扱えることが実証され、実用的かつ実現可能であることが確認された。
• 結果から、RDUに基づく効用モデルが、複雑で部分観測可能な環境においても、制約ソルバが不確実性下で意思決定を効果的に順位付け・選択できることを裏付けた。