[論文レビュー] My Brain is Full: When More Memory Helps

Christopher Lusena, Tong Li+3 more|arXiv (Cornell University)|Jan 23, 2013

Reinforcement Learning in Robotics参考文献 13被引用数 8

ひとこと要約

本稿は、POMDPにおける自由な有限記憶ポリシーを調査しており、ポリシーの性能は記憶容量の増加に伴い向上することを示している。驚くべきことに、最適性に必要な記憶よりも多い記憶を用いることで、局所探索、シミュレーテッドアニーリング、遺伝的アルゴリズムの各手法において、最適ポリシーへの収束が向上し、一部のケースでは動的計画法でさえも上回ることがある。

ABSTRACT

We consider the problem of finding good finite-horizon policies for POMDPs under the expected reward metric. The policies considered are {em free finite-memory policies with limited memory}; a policy is a mapping from the space of observation-memory pairs to the space of action-memeory pairs (the policy updates the memory as it goes), and the number of possible memory states is a parameter of the input to the policy-finding algorithms. The algorithms considered here are preliminary implementations of three search heuristics: local search, simulated annealing, and genetic algorithms. We compare their outcomes to each other and to the optimal policies for each instance. We compare run times of each policy and of a dynamic programming algorithm for POMDPs developed by Hansen that iteratively improves a finite-state controller --- the previous state of the art for finite memory policies. The value of the best policy can only improve as the amount of memory increases, up to the amount needed for an optimal finite-memory policy. Our most surprising finding is that more memory helps in another way: given more memory than is needed for an optimal policy, the algorithms are more likely to converge to optimal-valued policies.

研究の動機と目的

• 有限horizon POMDPポリシーにおける記憶容量の増加が性能に与える影響を評価すること。
• 局所探索、シミュレーテッドアニーリング、遺伝的アルゴリズムといったヒューリスティック探索アルゴリズムを、最適ポリシーおよび動的計画法と比較すること。
• 最適性に必要な記憶よりも多い記憶を用いることで、最適値ポリシーへのアルゴリズムの収束が向上するかを調査すること。
• 異なる記憶サイズとアルゴリズムにおける実行時間効率とポリシー品質を分析すること。
• 有限記憶制御の最適化に至るまでの記憶増加に伴うポリシーの価値向上を評価すること。

提案手法

• 記憶サイズを調整可能なパラメータとして、観測-記憶ペアから行動-記憶ペアへの写像として、自由な有限記憶ポリシーを形式化する。
• ポリシー空間を探索するために、局所探索、シミュレーテッドアニーリング、遺伝的アルゴリズムの3つのヒューリスティック探索アルゴリズムを採用する。
• 有限状態制御器用にハンセンの動的計画法により計算された最適ポリシーと比較して、ポリシーの品質と実行時間を評価する。
• 異なる記憶容量におけるポリシー性能を評価する指標として、期待報酬を用いる。
• 最適性に必要な最小記憶量を上回る記憶サイズを段階的に増加させ、収束特性をテストする。
• さまざまなPOMDPインスタンスにおいて、異なる記憶制約下で収束速度とポリシー値を分析する。

実験結果

リサーチクエスチョン

• RQ1 最適性に必要な最小記憶量を上回る記憶容量を増加させることで、最適値ポリシーへの収束確率が向上するか？
• RQ2 ヒューリスティック探索アルゴリズム（局所探索、シミュレーテッドアニーリング、遺伝的アルゴリズム）は、有限記憶POMDPポリシーにおいて、動的計画法と比較して性能と収束速度でどう異なるか？
• RQ3 有限horizon POMDPにおける記憶サイズとポリシー値向上の関係は何か？
• RQ4 過剰な記憶が利用可能である場合、ヒューリスティック手法が動的計画法を上回り、最適ポリシーへの収束を達成できるか？
• RQ5 記憶容量の増加に伴い、最良ポリシーの価値はどのように変化するか？また、最適記憶サイズに達した時点で飽和するか？

主な発見

• 最適有限記憶制御に至るまでの点まで、記憶サイズが増加するにつれて最良ポリシーの価値が厳密に向上する。
• 驚くべきことに、最適性に必要な記憶よりも多い記憶を用いることで、ヒューリスティックアルゴリズムが最適値ポリシーへの収束確率が著しく向上する。
• 特に過剰な記憶が与えられた場合、ヒューリスティックアルゴリズムは特定のインスタンスにおいて、動的計画法を上回って最適ポリシーへの収束を達成する。
• 記憶容量が高くなるほど、ポリシー品質と収束のロバスト性が向上し、最適性に必要な最小記憶量を上回っても同様に効果が得られる。
• 実行時間の性能はアルゴリズムによって異なるが、過剰な記憶の恩恵は、テストされた3つのヒューリスティックすべてに一貫して見られる。
• 本研究では、記憶容量が複雑なPOMDPポリシー空間における探索効果を高める正則化の一種であることが示された。