[論文レビュー] Near Optimal Behavior via Approximate State Abstraction

David Abel, D Ellis Hershkowitz+1 more|arXiv (Cornell University)|Jan 15, 2017

Reinforcement Learning in Robotics参考文献 25被引用数 109

ひとこと要約

この論文は、MDPの4つの近似状態抽象関数を導入し、抽象最適な方策が地上MDPにおける劣後最適性を有界にすることを証明し、抽象化が制御された損失でタスクの複雑性を削減することを実証的に示します。

ABSTRACT

The combinatorial explosion that plagues planning and reinforcement learning (RL) algorithms can be moderated using state abstraction. Prohibitively large task representations can be condensed such that essential information is preserved, and consequently, solutions are tractably computable. However, exact abstractions, which treat only fully-identical situations as equivalent, fail to present opportunities for abstraction in environments where no two situations are exactly alike. In this work, we investigate approximate state abstractions, which treat nearly-identical situations as equivalent. We present theoretical guarantees of the quality of behaviors derived from four types of approximate abstractions. Additionally, we empirically demonstrate that approximate abstractions lead to reduction in task complexity and bounded loss of optimality of behavior in a variety of environments.

研究の動機と目的

• 計画と強化学習における次元の呪いを抑えるための近似状態抽象の使用を動機づけ、形式化する。
• 圧縮と有界性能損失をトレードオフする4つの具体的な抽象化ファミリを提案する。
• 近似パラメータ ε に対して劣後性が有界で多項式になるという理論的保証を提供する。
• 多様なMDPにおいて、抽象化度が圧縮と得られる方策品質に与える影響を実証的に評価する。

提案手法

• 抽象状態を rewards および遷移への ground-state の寄与を重みづけて集約することで、抽象MDP を定義する。
• 4つの近似的集約関数を導入する：˜φ_{Q*,ε}, ˜φ_{model,ε}, ˜φ_{ bolt,ε}, および ˜φ_{mult,ε}。
• 主な上界を証明する：V_G^{π_G*}(s) − V_G^{π_GA}(s) ≤ 2ε η_f, ここで η_f は抽象化のタイプに依存する。
• 各抽象化ファミリについて、Q値と方策品質を境界づける補題を確立する。
• ε → 0 のとき境界が零に収束し、正確な抽象特性を回復することを示す。
• 既存の同値概念と類似性ベースの抽象との関連を概説する。

実験結果

リサーチクエスチョン

• RQ1 近似状態抽象は、十分に類似した ground state を集約する際に、ほぼ最適な挙動を保持できるか。
• RQ2 4つの提案された抽象化ファミリーにおける ε および MDP パラメータに関する劣後性の理論的境界はどのようになるか。
• RQ3 異なる抽象基準（Q*、model、Boltzmann、multinomial）は、圧縮と損失の点でどう比較されるか。
• RQ4 近似抽象は、さまざまなドメインで有界な性能損失を維持しつつ、タスクの複雑性を実用的に削減できるか。

主な発見

• 地上のMDPに抽象的最適方策を適用する際、4つの近似状態集約関数が有界な劣後性を生じさせる。
• 劣後性の境界は ε と問題依存のファクター η_f の関数であり、4つのファミリに対して ε の多項式依存性を示す。
• 正確な抽象が存在しない場合でも、近似抽象は正確な抽象よりも圧縮を大きく可能にする。
• 理論的結果は、地上MDPと抽象MDP間の価値および Q値の境界を抽象化品質と結びつける。
• 実証的結果は、複数のMDPにおいて、圧縮度と生じる誤差のトレードオフを示す。
• この方法は、意思決定問題の本質的な構造を保持しつつ計算を実用的な範囲に保つ。