[論文レビュー] A Theory of Abstraction in Reinforcement Learning

David Abel|arXiv (Cornell University)|Mar 1, 2022

Evolutionary Algorithms and Applications被引用数 5

ひとこと要約

本学位論文は強化学習における抽象化の形式的理論を提唱し、3つの核心的望ましい性質を定義する：近似的最適行動の保存、学習および構築の効率性、計画または学習時間の短縮。新しいアルゴリズムと理論的分析を導入することで、エージェントが効果的な抽象化を学習可能となり、強化学習の複雑さを著しく低減しながらパフォーマンスを維持することが可能になる。

ABSTRACT

Reinforcement learning defines the problem facing agents that learn to make good decisions through action and observation alone. To be effective problem solvers, such agents must efficiently explore vast worlds, assign credit from delayed feedback, and generalize to new experiences, all while making use of limited data, computational resources, and perceptual bandwidth. Abstraction is essential to all of these endeavors. Through abstraction, agents can form concise models of their environment that support the many practices required of a rational, adaptive decision maker. In this dissertation, I present a theory of abstraction in reinforcement learning. I first offer three desiderata for functions that carry out the process of abstraction: they should 1) preserve representation of near-optimal behavior, 2) be learned and constructed efficiently, and 3) lower planning or learning time. I then present a suite of new algorithms and analysis that clarify how agents can learn to abstract according to these desiderata. Collectively, these results provide a partial path toward the discovery and use of abstraction that minimizes the complexity of effective reinforcement learning.

研究の動機と目的

• 限られたデータと計算リソースの中で、複雑な環境において強化学習エージェントが効果的に一般化できるようにする挑戦に取り組む。
• 近似的最適行動の保存、効率的な構築、計画／学習時間の短縮という3つの基本的望ましい性質を特定することで、強化学習における抽象化の概念を形式化する。
• これらの望ましい性質を満たす抽象化を学習するアルゴリズムを開発し、より効率的かつスケーラブルな強化学習を実現する。
• 理論的および実験的分析を通じて、抽象化が有効な強化学習の複雑さをどのように低減するかを示す。
• 人間の認知における抽象的推論と、人工エージェントにおけるスケーラブルで原理的根拠を持つ抽象化のギャップを埋める。

提案手法

• 抽象化関数のための3つの望ましい性質を定義する：(1) 近似的最適行動の表現を保存すること、(2) 効率的に学習可能かつ構築可能であること、(3) 計画または学習時間を短縮すること。
• これらの望ましい性質を満たす状態行動抽象化を発見するための新しいアルゴリズムを導入する。これには、カバレッジ時間の最小化によるオプション発見と、価値を保存する抽象化が含まれる。
• 状態抽象化における圧縮に基づく原則を応用し、アポイントシップ学習における抽象化を情報圧縮の一形態として定式化する。
• 理論的分析を通じて、望ましい性質を満たす抽象化が、計画および学習複雑度を明示的に低減することを示す。
• オプションやフードナルネットワークなどの階層的強化学習フレームワークを活用し、構造化された環境における抽象化の実装と評価を行う。
• 抽象化を生涯学習およびトランスファー学習の文脈に統合し、タスク間でポリシーおよび価値関数の転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 強化学習における抽象化を形式的に定義するにはどうすればよいか。これにより、効果的な意思決定を支援できるか。
• RQ2 抽象化関数が強化学習で有用であるために満たすべき最小限で原理的根拠を持つ基準（望ましい性質）とは何か。
• RQ3 望ましい性質を満たす抽象化を学習するアルゴリズムを設計できるか。同時に、計画および学習時間を最小限に抑えることができるか。
• RQ4 実際の強化学習において抽象化はどのように複雑さを低減するのか。この低減は定量的に分析可能か。
• RQ5 抽象化はどの程度タスク間で転送可能であり、強化学習における生涯学習の加速に寄与できるか。

主な発見

• 提唱された理論により、強化学習における抽象化の3つの形式的望ましい性質が確立された：近似的最適行動の保存、効率的な学習可能性、計画または学習時間の短縮。
• カバレッジ時間の最小化によりオプションを発見するアルゴリズムは、探索時間の短縮とサンプル効率の向上を実現する抽象化を効果的に学習できることを示した。
• 価値を保存する状態行動抽象化は、状態空間の複雑さを著しく低減しながらも、近似的最適なパフォーマンスを維持できることを実証した。
• 理論的分析により、望ましい性質を満たす抽象化が、特に大きなMDPにおいて計画および学習時間の明示的低減をもたらすことが確認された。
• アポイントシップ学習における圧縮に基づく抽象化は、熟練者の行動を保存しつつ、より効率的なポリシー学習を可能にすることが示された。
• 生涯学習およびトランスファー学習の実験により、学習された抽象化がタスク間で再利用可能であり、ポリシー転送および価値関数学習の加速に寄与することが実証された。