[論文レビュー] Explicitly Encouraging Low Fractional Dimensional Trajectories Via Reinforcement Learning.

Sean Gillen, Katie Byl|arXiv (Cornell University)|Jan 1, 2020

Evolutionary Algorithms and Applications被引用数 2

ひとこと要約

本論文は、フラクタル幾何学の概念を用いて報酬関数を変更することで、エージェントの軌道の分数次元を明示的に低減する強化学習（RL）手法を提案する。この手法により、ノイズや摂動に対するロバスト性が向上し、制御系において次元が低い、より安定した軌道が得られることを実験的に示している。

ABSTRACT

A key limitation in using various modern methods of machine learning in developing feedback control policies is the lack of appropriate methodologies to analyze their long-term dynamics, in terms of making any sort of guarantees (even statistically) about robustness. The central reasons for this are largely due to the so-called curse of dimensionality, combined with the black-box nature of the resulting control policies themselves. This paper aims at the first of these issues. Although the full state space of a system may be quite large in dimensionality, it is a common feature of most model-based control methods that the resulting closed-loop systems demonstrate dominant dynamics that are rapidly driven to some lower-dimensional sub-space within. In this work we argue that the dimensionality of this subspace is captured by tools from fractal geometry, namely various notions of a fractional dimension. We then show that the dimensionality of trajectories induced by model free reinforcement learning agents can be influenced adding a post processing function to the agents reward signal. We verify that the dimensionality reduction is robust to noise being added to the system and show that that the modified agents are more actually more robust to noise and push disturbances in general for the systems we examined.

研究の動機と目的

• 高次元の状態空間とポリシーのブラックボックス性による、RLベースの制御ポリシーにおける長期的ダイナミクスの分析の課題に対処すること。
• RLエージェントの軌道の内因的次元——通常は全状態空間よりも低い——を報酬形状化を用いて明示的に制御可能かどうかを調査すること。
• フラクタル幾何学、特に分数次元を、軌道の複雑さと安定性の指標として用いる手法を開発すること。
• 報酬関数の形状を工夫することで、状態空間内でのエージェントの経路の有効次元を低減し、より予測可能な軌道を促進することで、RLポリシーのノイズおよび外部摂動に対するロバスト性を向上させること。

提案手法

• 本手法は、フラクタル次元指標に基づき、高次元の軌道を罰するように設計された報酬信号の後処理関数を導入する。
• 分数次元は、フラクタル幾何学におけるボックスカウント法などの技術を用いて推定され、時間的経過における状態軌道の複雑さを定量化する。
• 報酬形状関数は、状態空間内でのエージェントの経路の有効次元を低減するように設計され、低次元多様体に収束する軌道を好む。
• 修正された報酬信号は、標準的なRLアルゴリズム（例：PPO や SAC）に統合され、環境ダイナミクスを変更せずに次元制約を伴う学習が可能になる。
• 訓練および推論中に系統的にノイズを導入し、修正されたポリシーのロバスト性を評価する。
• 主なダイナミクスが低次元部分空間に存在することが知られているベンチマーク制御タスクで本手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 モデルフリーなRL設定において、報酬形状化を用いてRLエージェントの軌道の分数次元を効果的に低減できるか？
• RQ2 軌道次元を低減することで、プロセスノイズや外部摂動に対するロバスト性が向上するか？
• RQ3 提案手法は、標準的なRLと比較して、低次元多様体への収束性と安定性において優れているか？
• RQ4 システムノイズや摂動のレベルが変化しても、次元低減効果は保持されるか？
• RQ5 フラクタル次元は、高次元制御系におけるポリシー学習をガイドするための信頼性があり実用的な指標として適しているか？

主な発見

• 修正されたRLエージェントは、ベースラインエージェントと比較して顕著に低い分数次元の軌道を生成しており、低次元多様体への収束を示している。
• 追加のノイズがシステムダイナミクスに加えられても、次元低減効果は安定しており、摂動下でも安定した性能を維持した。
• 提案手法を用いて訓練されたポリシーは、プッシュ摂動やノイズに対してより高い耐性を示し、標準的なRLエージェントに比べて安定性と回復性能に優れていた。
• 本手法は、高次元状態空間であっても、支配的である低次元部分空間内に軌道が進化するのを効果的に促進した。
• フラクタル次元を制御目的として用いることで、より予測可能でロバストな行動へのポリシー学習を効果的にガイドできた。
• 実験的結果により、低次元軌道は長期的なロバスト性と関連しており、本手法の核心仮説が妥当であることが確認された。