[論文レビュー] Using PCA to Efficiently Represent State Spaces

William J. Curran, Tim Brys+2 more|arXiv (Cornell University)|May 2, 2015

Reinforcement Learning in Robotics参考文献 10被引用数 14

ひとこと要約

本稿では強化学習における高次元状態空間を主成分分析（PCA）を用いて低次元多様体に射影することで、より速い方策収束を実現する手法を提案する。9次元の全次元ではなく、最小4次元で学習を行うことで、エージェントはより速くより優れた性能を達成し、マリオベンチマーキングドメインにおける収束速度と方策品質の間の有利なトレードオフを示している。

ABSTRACT

Reinforcement learning algorithms need to deal with the exponential growth of states and actions when exploring optimal control in high-dimensional spaces. This is known as the curse of dimensionality. By projecting the agent's state onto a low-dimensional manifold, we can represent the state space in a smaller and more efficient representation. By using this representation during learning, the agent can converge to a good policy much faster. We test this approach in the Mario Benchmarking Domain. When using dimensionality reduction in Mario, learning converges much faster to a good policy. But, there is a critical convergence-performance trade-off. By projecting onto a low-dimensional manifold, we are ignoring important data. In this paper, we explore this trade-off of convergence and performance. We find that learning in as few as 4 dimensions (instead of 9), we can improve performance past learning in the full dimensional space at a faster convergence rate.

研究の動機と目的

• 高次元強化学習における次元の呪いを軽減するため、状態空間の複雑さを低減すること。
• 次元削減を用いる際の学習速度と最終的な方策パフォーマンスのトレードオフを調査すること。
• PCAを用いて導出された低次元多様体を用いることで、全次元学習に比べてより速い収束と向上したパフォーマンスを達成できることを示すこと。
• 低次元空間における劣化した方策が、より高い次元での反復的学習によって改善可能かどうかを調査すること。

提案手法

• 状態空間の代表的データセットを構築するため、エキスパートのデモンストレーションから状態軌道を収集する。
• 主成分分析（PCA）を適用して、高次元状態空間を最大の分散保持を達成する線形変換へと射影する。
• 各学習イテレーションにおいて、上位k個の主成分（k ≤ 9）を用いて状態をk次元に射影する。
• 収束を加速するために、学習を完全に低次元空間で実行する。
• PCA変換を固定された事前計算済み行列として利用し、行列乗算による効率的なリアルタイム状態射影を可能にする。
• 反復的学習戦略を提案：まず低次元空間（例：4次元）で学習し、次に知識をより高い次元空間（例：5次元）に移行することで最終的な方策品質を向上させる。

実験結果

リサーチクエスチョン

• RQ1 状態空間におけるPCAベースの次元削減は、強化学習における収束速度の向上に寄与するか？
• RQ2 低次元多様体を用いた際の学習速度と最終的パフォーマンスのトレードオフはいかほどか？
• RQ3 4次元多様体で学習することは、全9次元状態空間での学習に比べ、方策品質と収束速度の点で優れているか？
• RQ4 低次元空間で学習を開始し、次に高次元空間に移行する反復的学習戦略は、初期から全次元で学習する場合に比べ、最終的な方策パフォーマンスを向上させられるか？

主な発見

• 4次元多様体で学習した結果、全9次元状態空間での学習に比べ、より速い収束と優れた方策パフォーマンスが達成された。
• 最初の数個の主成分は、ジャンプ、床、現在の移動方向、発砲、障害物への接近といった基本的なゲームメカニクスを強く強調していた。
• 近隣の敵に関する特徴は、分散が低くインデックスが大きい主成分に多く含まれており、状況的・重要性が高いことが示された。
• 5次元以上の多様体は全状態空間と同程度の性能を示し、ある次元数を超えると利得が減少することが示唆された。
• 2次元または3次元での学習は、効果的な学習に必要な表現能力が不足しているため、劣化した方策を生じさせた。
• PCA射影は軽量な行列演算であるため、計算オーバーヘッドを最小限に抑えつつ、高速な収束を実現できる。