[論文レビュー] Finding Options that Minimize Planning Time

Yuu Jinnai, David Abel+3 more|arXiv (Cornell University)|Oct 16, 2018

Auction Theory and Applications参考文献 38被引用数 7

ひとこと要約

この論文は、MDPにおける計画時間の最小化に寄与する最小のオプション集合を求める問題を形式化し、それがNP困難であることを証明するとともに、一般にはO(n)の劣化、決定的MDPではO(log n)の劣化を示す多項式時間近似アルゴリズムA-MOMIを提示する。実験的に、最適なオプションやバターンネス、固有値オプションといったヒューリスティクスと比較して、グリッドワールド環境における有効性を検証している。

ABSTRACT

We formalize the problem of selecting the optimal set of options for planning as that of computing the smallest set of options so that planning converges in less than a given maximum of value-iteration passes. We first show that the problem is NP-hard, even if the task is constrained to be deterministic---the first such complexity result for option discovery. We then present the first polynomial-time boundedly suboptimal approximation algorithm for this setting, and empirically evaluate it against both the optimal options and a representative collection of heuristic approaches in simple grid-based domains including the classic four-rooms problem.

研究の動機と目的

• 与えられた値反復の回数制限ℓ内でε最適性に収束するように保証する最小のオプション集合の選択問題を形式化すること。
• このオプション選択問題の計算複雑性を確立し、決定的MDPに対してもNP困難であることを示すこと。
• 計画におけるオプション発見のための体系的で近似に基づくアルゴリズムを提案し、理論的性能バインディングを保証すること。
• 提案されたアルゴリズムを、標準的なグリッドワールド領域における最適解およびヒューリスティックなオプション発見手法と比較して実験的に評価すること。

提案手法

• 最大でℓ回の反復が許容される条件下で、ε最適性に到達するまでの値反復回数を最小化する問題としてオプション選択問題を形式化すること。
• この問題がNP困難であることを証明し、近似不可能性の境界を確立する：NP ⊆ DTIME(n^{poly log n})でない限り、2^{log^{1−ε}n}-困難であり、P = NPでない限りΩ(log n)-困難である。
• 状態間の距離を基にゴールへの最短経路を計算し、それをもとにオプションを構築する、グリーディで多項式時間のアルゴリズムA-MOMIを提案すること。
• 動的計画法を用いて、各状態からゴールまでの最短経路距離を計算し、それをオプション選択の指針とする。
• 距離を短くする影響が大きい状態（ゴールまでの距離を短くする）から点オプションを構築し、グリーディな集合被覆近似を用いる。
• 計算されたオプション集合を用いることで、すべての状態がℓ反復以内にε最適性に到達することを保証する。

実験結果

リサーチクエスチョン

• RQ1 MDPにおける計画時間を最小化する最小オプション集合を求める問題の計算複雑性は何か？
• RQ2 このオプション発見問題に対して、理論的劣化バインディングが保証される多項式時間近似アルゴリズムを設計できるか？
• RQ3 実際の応用において、提案されたアルゴリズムの性能は最適なオプション集合やバターンネス、固有値オプションといったヒューリスティクスと比べてどうか？
• RQ4 決定的MDPでは一般のMDPと比較して、アルゴリズムの近似品質が向上するか？
• RQ5 このアルゴリズムは、4ルームドメインのような標準的なグリッドワールド計画問題に効果的に適用可能か？

主な発見

• 計画時間を最小化する最小オプション集合を求める問題は、決定的MDPに対してもNP困難であり、強い近似不可能性の境界を有する。
• A-MOMIは、計算されたオプション集合を用いることで、ℓ反復以内に計画が収束することを保証し、一般のMDPではO(n)の劣化を達成する。
• 決定的MDPでは、A-MOMIがO(log n)の劣化を達成し、一般ケースの境界よりも顕著に改善される。
• 実験的評価により、A-MOMIのオプション集合は4ルームおよび9×9グリッド領域において、最適なオプション集合と視覚的・機能的に類似していることが示された。
• 即時の距離短縮に基づくグリーディなヒューリスティクスは、一部の状況では、オプションなしと比較してわずかな改善しか得られないことがある。
• バターンネスや固有値オプションといったヒューリスティクスは妥当な性能を示すが、収束速度の点でA-MOMIおよび最適解に劣ることがわかった。